DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、周期性调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍如何在DataWorks注册同账号或跨账号的EMR集群...
附录：添加DataWorks白名单 如果EMR启用了Ranger，则使用DataWorks进行EMR作业开发前，您需要在EMR中添加白名单并重启Hive，否则作业运行时会报错 Cannot modify spark.yarn.queue at runtime 或 Cannot modify SKYNET_BIZDATE at runtime...
EMR Studio作为一款云上产品，支持与数据湖构建（DLF）和对象存储（OSS）等云上产品对接，构建云原生大数据产品架构。您可以在创建EMR Studio时指定OSS bucket路径，EMR Studio将自动备份作业代码和作业日志，并可以通过该路径提交Airflow ...
本文介绍如何使用Databricks 读写EMR HDFS文件系统数据。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建 EMR集群，具体参见 EMR集群创建 已创建DDI集群，具体请参见 DDI集群创建。创建集群并通过knox账号访问Notebook。接入EMR ...
在DolphinScheduler中使用EMR Doctor任务采集 推荐您使用EMR的Gateway环境，因为在EMR Gateway上运行的调度系统有EMR Doctor部署的软件包等信息。在Gateway上部署了DolphinScheduler，则可以在工作流定义的时候在选项参数部分，加入上表中...
属性 默认角色 描述 系统策略 EMR服务角色 AliyunEMRDefaultRole 允许E-MapReduce服务在配置资源和执行服务级别操作时调用其他阿里云服务。所有集群都需要该角色，且不能更改。详情请参见 EMR服务角色。AliyunEMRRolePolicy ...
镜像 必须与EMR实例的系统匹配。系统盘 推荐使用ESSD云盘，不小于60 GiB。网络 必须与EMR集群VPC一致。安全组 必须与EMR集群的Master实例组安全组一致，保证ECS实例与EMR集群的网络互通。构建EMR Gateway专用的ECS RAM角色。使用RAM管理员...
本文为您介绍E-MapReduce（简称EMR）中Kafka集群操作系统环境变量和配置项。操作系统环境变量 EMR Kafka集群的ECS实例操作系统用户为kafka，用户组为group，您可以登录ECS实例执行各类操作。EMR Kafka预置了以下Shell终端环境变量。变量名 ...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
通过采集程序将业务数据、日志和埋点数据等投递到EMR Kafka，利用Flink的实时计算功能将数据写入不同的分析系统，例如EMR StarRocks、EMR Hbase和阿里云的实时数仓Hologres，以提供实时分析、点查调用和BI报表分析等操作。数据服务场景 ...
磁盘写满监控 Kafka服务层面：可以在云监控系统中设置EMR Kafka集群的OfflineLogDirectoryCount指标告警，及时发现日志目录offline的情况。磁盘写满恢复 从排查问题角度来看，当Kafka出现log directory offline时，需要尽快定位是否是由于...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Alluxio Shell命令来对Alluxio中的文件进行操作，也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群，并选择了Alluxio服务...
警告 该模式会直接影响EMR集群的文件系统或运行环境，请谨慎操作。使用该模式，您还可以选择配置以下参数：调度队列：指定任务提交的YARN队列。任务执行容器内存（MB）：指定任务执行容器的内存。默认值为1024。虚拟核数：指定任务执行容器...
EMR服务角色允许E-MapReduce服务在配置资源或执行服务级别操作时调用其他阿里云服务。例如，服务角色用于在EMR集群启动时创建ECS实例。本文为您介绍EMR服务角色及其权限策略。注意事项 为了避免影响EMR服务稳定性，请注意：EMR服务角色名称...
主备切换后，新的Active节点无法读到本地存储的Node Labels信息，所以必须将 yarn.node-labels.fs-store.root-dir 配置为分布式存储路径，例如/tmp/node-labels 或者${fs.defaultFS}/tmp/node-labels（EMR Hadoop默认文件系统为分布式HDFS...
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
为确保RAM用户能正常使用EMR Serverless StarRocks控制台功能，您需要使用阿里云账号登录访问控制RAM（Resource Access Management）控制台，授予RAM用户相应的权限。背景信息 访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么...
在阿里云E-MapReduce（简称EMR）中，EMR on ECS形态依赖于阿里云ECS。鉴于阿里云ECS所使用的部分操作系统镜像即将停止，或已处于停止支持状态，这类情况将对EMR的正常运行与维护产生直接影响。本文为您介绍阿里云ECS中即将或已停止支持的...
节点开发：EMR相关 创建EMR Presto节点 创建EMR Hive节点 创建EMR MR节点 创建EMR Spark SQL节点 创建EMR Spark节点 创建EMR Shell节点 创建EMR Impala节点 创建EMR Spark Streaming节点 创建EMR表 创建和使用EMR资源 创建EMR函数 节点开发...
根据登录EMR控制台的RAM用户权限的不同，可以将使用E-MapReduce用户管理模块的RAM用户分为两类：管理员：阿里云账号或者拥有emr:ManageUserPlatform（例如系统策略AliyunEMRFullAccess）和emr:CreateLdapUser权限的RAM用户。管理员可以查看...
包年包月EMR集群到期前，如您不再使用集群，可选择释放ECS实例，在释放ECS实例时，系统将同时退还您EMR未使用部分的款项，您可以在阿里云控制台上方，选择 费用>订单 查看，具体请参见 退款说明。操作步骤 进入EMR on ECS页面。登录 E-...
在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例时，相当于对EMR集群降配。每释放一个ECS实例，将生成一笔降配退款订单。当ECS实例为空，即对EMR降配到0。降配时，将退还对应的EMR服务费用，规则如下：降配退款...
选择权限 在 系统策略 中，输入EMR搜索EMR相关权限策略，然后单击需要授予RAM用户的权限策略，选择该权限。各权限策略的详细说明，请参见 权限策略。单击 确定。单击 完成。完成授权后，权限立即生效，您可以使用RAM用户身份登录 阿里云E-...
例如，某个ECS节点上的系统标签如下：acs:emr:clusterId=c-59efc7546480*acs:emr:nodeGroupType=CORE 表示该节点是集群ID为 c-59efc7546480*的EMR集群下的一个CORE节点。注意事项 更新E-MapReduce的标签会同步到对应的ECS节点上。更新ECS...
本文教程使用的是EMR-5.15.1版本，EMR-4.8.0及之后的版本、EMR-5.1.0以及之后的版本均可运行该教程。使用限制 EMR-4.8.0及之后的版本、EMR-5.1.0以及之后的版本均可运行该教程。注意事项 本文示例使用的是DataLake集群，所以Master节点名称...
CPU Info 参数 指标 描述 CPU utilization-system emr_node_cpu_system 系统CPU使用百分比。CPU utilization-user emr_node_cpu_user 用户CPU使用百分比。CPU utilizationCPU utilization-idle emr_node_cpu_idle 等待idle完成的CPU使用...
2023-05-19 什么是EMR Workflow 2023年4月 功能名称 功能概述 发布时间 相关文档 版本升级 EMR-5.x系列：升级至EMR-5.11.1 EMR-3.x系列：升级至EMR-3.45.1 2023-04-03 EMR-5.11.x版本说明 EMR-3.45.x版本说明 湖仓一体新能力 EMR支持Spark...
原作业类型 迁移后作业类型 SQOOP DI（离线同步任务）SPARK_SQL EMR_SPARK_SQL SPARK EMR_SPARK SHELL EMR_SHELL PRESTO_SQL EMR_PRESTO MR EMR_MR IMPALA_SQL EMR_IMPALA HIVE_SQL EMR_HIVE HIVE EMR_SHELL 方式一：通过DataWorks迁移助手...
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
前提条件 已完成系统角色授权，详情请参见 EMR Workflow角色授权。已在EMR on ECS页面创建集群或集群模板，详情请参见 创建集群 或 创建集群模板。支持绑定的集群类型为DataLake、Hadoop和Custom。步骤一：绑定集群 和关联工作空间 使用...
前提条件 已完成系统角色授权，详情请参见 EMR Notebook角色授权。账号与访问权限 账号类型 说明 阿里云账号（主账号）拥有工作空间的所有操作权限。RAM用户 未授权前：不支持创建和删除工作空间。授权后：授权RAM用户 ...
前提条件 已完成系统角色授权，详情请参见 EMR Workflow角色授权。使用限制 仅阿里云账号（主账号）有权限进行创建和删除工作空间的操作。创建工作空间 使用阿里云账号（主账号）登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Workbench...