更多信息，请参见 什么是EMR Workflow。控制台入口：立即前往。支持地域 EMR Workflow支持以下地域。中国地区 地域名称 地域ID 华北2（北京）cn-beijing 华东1（杭州）cn-hangzhou 华东2（上海）cn-shanghai 华南1（深圳）cn-shenzhen 西南...
以下是开源版注册中心与商业版的简要功能比较：功能 开源版 商业版 服务注册 支持 支持 服务订阅 支持 支持 数据多副本（高可用）支持 支持 推送开关（平稳运维）支持 支持 连接心跳 支持 支持 hessian 序列化 支持 支持 protobuf 序列化 ...
EMR Workflow更多信息，请参见 什么是EMR Workflow。如果您想将数据开发模块迁移至DataWorks，请参见 EMR数据开发停止更新公告。迁移流程 通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache ...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
EMR Workflow更多信息，请参见 什么是EMR Workflow。停止更新时间 2022年2月21日21点 影响 您在停更时间点前创建的数据开发项目不会受到影响，可正常使用EMR数据开发模块，包括运行作业和工作流调度。如果您后续需要更丰富的数据开发功能，...
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配...
背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在EMR Serverless StarRocks中，RAM的典型使用场景如下：用户：如果您购买了EMR Serverless StarRocks实例，您的组织里有多个用户（例如运维、开发或数据...
更多信息，请参见 什么是EMR Serverless Spark。控制台入口：立即前往。支持地域 中国地区 地域名称 地域ID 华北2（北京）cn-beijing 华东2（上海）cn-shanghai 华东1（杭州）cn-hangzhou 华南1（深圳）cn-shenzhen 华北3（张家口）...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在E-MapReduce中，RAM的典型使用场景如下：用户：您可以通过RAM用户对项目组开发、运维等不同角色人员进行授权，实现不同RAM用户拥有不同资源访问权限。...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
背景信息 EMR Flink完全兼容开源Flink，相关内容请参见社区文档。例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink...
工作空间是Serverless Spark的基本单元，...更多标签信息，请参见 什么是标签。自定义输入标签键和标签值 单击 创建工作空间。相关文档 创建工作空间后，您可以开始进行相关任务的开发，例如SparkSQL任务，详情请参见 SparkSQL开发快速入门。
本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto，其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto，其内核均为PrestoSQL或Trino，相关信息请参见 Trino。基本特性 ...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
说明 当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...
请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ModifyScalingGroupV2 系统规定参数。对于您自行拼凑HTTP或HTTPS URL发起的API请求，该参数为必选参数。取值：ModifyScalingGroupV2。Description String 是 这是一个示例伸缩组...
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Apache Celeborn是阿里云开源的中间数据服务，旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎，支持Spark、Flink、MapReduce(MR)和 Tez，并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
E-MapReduce支持在集群成功创建后...相关文档 如果您需要访问服务的Web UI，详情请参见 通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见 查看服务和组件健康状态。如果有服务相关的问题，详情请参见 集群管理常见问题。
Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop YARN是默认的Haodop资源管理器，是一个通用的资源管理和调度系统。ZKConfigurationStore是YARN CapacityScheduler调度器用于从ZooKeeper获取...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...