StarRocks自2.3版本起支持Catalog(数据目录)功能,实现在一套系统内同时维护内、外部数据,方便您轻松访问并查询存储在各类外部源的数据。本文为您介绍什么是Catalog,以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据:...
在阿里云E-MapReduce(EMR)中,Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍,如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
本文以OSS为例,介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景,可以直接使用Hadoop的FsShell进行同步:hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...
delete操作(默认)将同时删除Alluxio和底层文件系统中的文件,而free操作仅仅删除Alluxio中的文件。语法 alluxio fs setTtl[-action delete|free]path time to live 示例:一分钟后,tmp 目录将被删除。alluxio fs setTtl/tmp 60000 返回...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库,以及分布式系统的设计思想,其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
EMR on ECS是指在ECS上运行EMR,它将EMR的大数据处理能力与ECS的弹性灵活优势相结合,使得您能够更加便捷地配置和管理EMR集群,同时支持多种开源和自研大数据组件,适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成,分别...
Trino(即原PrestoSQL)是一个开源的分布式SQL查询引擎,适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino,之前各版本控制台显示为Presto,内核其实是Trino,使用时请注意区分。基本特性 Trino使用Java语言...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...
EMR ClickHouse完全兼容开源版本的产品特性,同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能,并且在开源的基础上优化了ClickHouse的读写性能,提升了ClickHouse与EMR其他组件快速集成的能力。特性 特性 描述 列式...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括 JindoFS 存储系统(原JindoFS Block模式)...
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
JindoSDK:为EMR各种开源计算引擎提供统一的SDK,支持Java、C、C++和Python语言,提供多种访问和API接口,包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集:提供相关的工具集,例如Jindo tool和迁移工具Jindo DistCp。各种...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全,Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放,您可以通过以下方式访问开源组件的Web界面:SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
EMR Serverless StarRocks不仅无缝兼容开源StarRocks,并且具备自动升级软件版本的功能,可省去手动管理版本的繁琐与风险。迁移方案详情,请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务,同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例,为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
EMR Studio是E-MapReduce提供的开源大数据开发套件,包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群(EMR on ECS和EMR on ACK)的计算引擎提交任务,并提供了交互式开发、任务调度和任务监控等...
本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto,其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto,其内核均为PrestoSQL或Trino,相关信息请参见 Trino。基本特性 ...
背景信息 EMR Flink完全兼容开源Flink,相关内容请参见社区文档。例如:DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景,本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度,Flink...
通过访问链接与端口功能,您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接,以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择,请参见 查看开源组件 Web 界面...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外,还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理,您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择,请参见 查看开源组件 ...
阿里云E-MapReduce(简称EMR)是云原生开源大数据平台,能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上,集群资源归属于用户,EMR提供基于该资源的半托管云服务能力,用户对集群拥有完全的管理操作权限,...
Apache Celeborn是阿里云开源的中间数据服务,旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎,支持Spark、Flink、MapReduce(MR)和 Tez,并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...