客户安全责任 客户负责正确配置和使用阿里云提供的安全能力和产品服务，以构建其云上应用和业务系统的安全。包括以下内容：基于阿里云公告及提供的补丁，及时对EMR大数据服务组件进行漏洞修复。负责数据的备份、加密，并对EMR产品中使用的...
说明 当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...
高性能计算引擎：内置 Fusion Engine，性能可达开源 Spark 的 4 倍；支持 Remote Shuffle Service Celeborn，提供 PB 级 Shuffle 能力并降低计算成本。高扩展性与弹性：基于阿里云 Serverless 底座，提供秒级资源弹性伸缩，按实际计算资源...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
在每行配置中，一个IP地址最多可对应3个hostname。修改域名 在 实例详情 页面的 基础信息 区域，单击 自定义域名 后的 自定义。在 自定义域名 对话框中，修改已有hosts信息（例如，更新IP地址或hostname），然后单击 确定。删除域名 在 ...
spark.celeborn.shuffle.writer Celeborn的wirter支持的模式：hash（默认值）：在Partition并发度过大的情况下会使用较多的内存。sort：使用固定大小内存，在Partition并发度很大的情况下，能够稳定工作。spark.celeborn.master.endpoints ...
任务实例（JobRun）在任务编排系统中，Workflow的运行通常会对应一个JobRunID，表示一个任务实例。工作流（Workflow）工作流是指由一系列相关任务组成的有序流程，每个任务之间有明确的依赖关系和执行顺序。用户（Account）用户是访问控制...
此外，系统还支持自定义集群，您可以根据具体的业务选择相应的业务场景。选择业务场景 地域和存储 阿里云EMR提供多种地域选项，以确保您的集群地域与数据存储位置保持一致。在存储架构方面，阿里云EMR支持存算分离与存算一体两种方案供您...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
您也可以选中多个RAM用户，单击用户列表下方的 添加权限，为RAM用户批量授权。在 新增授权 面板，为RAM用户添加相应的权限。参数 描述 授权范围 选择所需的应用范围：账号级别：权限在当前阿里云账号内生效。资源组级别：权限在指定的资源...
灵活扩缩容：支持根据业务需求快速增加或减少特定计算组内的节点数量，无需重新分配数据，既满足了业务增长的需要，又减少了对现有业务的干扰，提升了系统的可扩展性和灵活性。高效的弹性伸缩：计算组内可以配置弹性伸缩规则，按需自动的...
欠费影响 多个集群之间并不会互相影响，例如，您有一个包年包月集群和一个按量付费集群，当按量付费集群欠费时，包年包月集群并不会受到影响，仍然会正常工作。计费方式 欠费策略 包年包月 包年包月集群在账号欠费期间仍可继续使用已购资源...
SmartData的2.6.0-2.7.2版本，包含多个重大特性的发布以及大幅的性能优化。例如，Namespace服务后端存储支持Tablestore（OTS）以及Raft、Namespace服务支持HA、读写性能优化、块存储模式和缓存模式使用方式优化等。元数据服务后端存储方案...
您也可以选中多个RAM用户，单击用户列表下方的 添加权限，为RAM用户批量授权。在 新增授权 面板，为RAM用户添加 AliyunEMRWorkflowAdmin 权限。参数 说明 授权范围 选择所需的应用范围：整个云账号：权限在当前阿里云账号内生效。指定资源...
如果您在自动续费扣款前进行了手动续费，则系统将在下一次到期前进行自动续费。开通自动续费后，自动续费将于次日生效。如果您的实例于次日到期，为避免业务中断，请手动续费。自动续费 创建实例时开通自动续费 您可以在创建包年包月付费...
说明 系统连接器无需配置，所有信息都可以通过名为 system 的目录获取。修改内置连接器 您可以在EMR控制台的Presto服务的 配置 页面，修改各个连接器对应的配置文件，然后重启Presto服务。连接器与配置文件对应关系如下表。连接器名称 配置...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
CONDITIONS节点可以支持多个上游任务，但只能支持两个下游任务。如果上游任务数超过一个，则可以通过“且”、“或”操作符来实现复杂上游依赖。本文为您介绍创建CONDITIONS类型任务时涉及的参数。参数 说明 节点名称 任务的名称。一个工作...
Delta连接器 JMX 使用JMX连接器可以进行系统监控和调试。JMX连接器 system 使用系统连接器可以查询集群的基本信息和度量。说明 系统连接器无需配置，所有信息都可以通过名为 system 的目录获取。无 修改内置连接器 您可以在EMR控制台的...
截至目前，阿里云EMR on ECS已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的信息安全风险...
产品优势如下：云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升300%。内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...
截至目前，阿里云E-MapReduce已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的信息安全风险...
截至目前，阿里云EMR Serverless Spark已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的信息...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
您无需提前购买大量资源，系统会根据您工作空间实际的资源使用量进行结算。注意事项 EMR Serverless Spark资源采用按量计费方式，高峰期可能存在抢占资源的情况，无法完全保障资源使用的时效性。按量付费说明 特性 说明 适用场景 按量付费...
本文以OSS为例，介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...
权限策略 在 所有策略类型 选择 系统策略，在搜索框输入EMR搜索EMR相关权限策略，然后单击需要授予RAM用户的权限策略，选择该权限。各权限策略的详细说明，请参见 权限策略。单击 确认新增授权。完成授权后，权限立即生效，您可以使用RAM...
更多参数配置信息，请参见 参数说明。前置任务 设置当前任务的前置（上游）任务。任务示例 简单打印信息 该示例演示了一个简单的任务，输出资源中心中文件的内容。当我们保存并运行任务后，日志中将输出test.txt文件和dir目录下file1.txt...
计费项 计费说明及付费方式 E-MapReduce服务费用 E-MapReduce会提供集群的多维度管理服务，包括页面的展示与控制、OpenAPI与SDK的支持、弹性伸缩、监控报警、运维工具和服务端后台的自动化运维等服务。关于E-MapReduce产品的详细定价，请...
Apache Hudi是一种数据湖存储格式，在Hadoop文件系统之上提供了更新数据、删除数据以及消费变化数据的能力，详情请参见 Apache Hudi。本文为您介绍如何在EMR Serverless Spark中实现Hudi表的读取与写入操作。前提条件 已创建工作空间，详情...
E-MapReduce支持在集群成功创建后...相关文档 如果您需要访问服务的Web UI，详情请参见 通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见 查看服务和组件健康状态。如果有服务相关的问题，详情请参见 集群管理常见问题。
截至目前，阿里云EMR Serverless StarRocks已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的...
如果未配置 dlf.catalog.id 参数的值，则系统将使用默认DLF Catalog。示例 以下示例创建了一个名为 paimon_catalog 的Paimon Catalog，其元数据类型 paimon.catalog.type 为 dlf，用于查询Paimon集群里的数据。CREATE EXTERNAL CATALOG ...
可信实体的更多介绍，请参见 创建RAM角色并授权。输入相关角色信息，单击 确定。角色名称为AliyunEMROnACKDefaultRole。如果AliyunEMROnACKDefaultRole角色已存在，则不必重复创建该角色。添加授权策略。在 权限管理 页签，单击 精确授权。...
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
该功能适用于需要快速部署测试环境或多套生产环境的场景，能显著提升效率并保证配置一致性。功能特性 配置持久化：保存除密码外的所有集群配置项。快速部署：通过模板创建集群仅需3次点击。资源分组：通过资源组实现模板的跨项目隔离管理。...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...
本文介绍JindoFS的namespace的存储模式（Block或Cache）支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式，JindoFS支持的系统权限如下：当您namespace的存储模式是Block模式时，支持Unix和...