2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
SQL任务类型，用于连接数据库并执行相应SQL。本文为您介绍创建SQL类型任务时涉及的参数，并提供了SQL任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr，支持的授权粒度为 资源级。权限策略通用结构 权限策略...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
EMR Serverless StarRocks支持将数据以快照文件的形式备份至阿里云OSS，或将备份的数据从阿里云OSS恢复至新的实例中。...您可以进入新实例的 操作任务 页签，直至 任务进度 列如下图所示的状态，则表示数据库恢复任务已完成。
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
CREATE DATABASE database_name[properties("location"="prefix:/path_to_database/database_name.db")]如果您在创建数据库时不指定 location，那么系统会使用默认的 warehouse_location/database_name.db 作为文件路径。location：用于...
阿里云EMR on ECS支持数据加密功能，可有效降低数据在云端的潜在安全风险。同时支持数据备份与恢复，避免数据丢失。OSS数据加密 OSS（Object Storage Service）是阿里云提供的一种高效、安全、低成本且高可靠的云存储服务。该服务采用基于...
数据库类型：E-MapReduce。表：本案例需要为 dwd_log_info_di_emr 表设置监控规则。在搜索结果中找到目标表，单击操作列的 规则管理，进入该表的质量详情页面。具体配置参考下文操作。步骤二：配置质量监控 质量监控通过监控目标表的指定...
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择 原生UI地址、Knox代理地址、SSH本地端口转发 或 SSH动态端口转发 方式进行访问。快速...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
加密系统盘后，系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 系统...
在Notebook会话启动时，系统将根据所选环境预装相关库。更多信息，请参见 管理运行环境。引擎侧 版本号 说明 esr-2.2(Spark 3.3.1,Scala 2.12)Fusion加速 支持WindowTopK算子。优化了Shuffle性能。修复了因缩容导致的偶发Task ...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
false SpotInstanceRemedy boolean 开启补齐抢占式实例后，当收到抢占式实例将被回收的系统消息时，伸缩组将尝试创建新的实例，替换掉将被回收的抢占式实例。取值范围：true：开启补齐抢占式实例。false：不开启补齐抢占式实例。默认值：...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
操作步骤 进入password.db页签。登录 EMR on ACK。在EMR on ACK页面，单击目标集群所在行的 配置。在 配置 页签，选择 password.db。修改配置项。在 password.db 页签，修改 admin 的参数值，修改为 htpasswd 命令生成的密码。例如，您可以...
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配...
目标源实例 选择在 数据源中心 中创建的目标数据源，以同步数据。目标表 选择同步数据的表。目标库前置SQL（preSql）SQL语句执行前，执行前置SQL。目标库后置SQL（postSql）SQL语句执行完成后，执行后置SQL。限流（字节数）限制查询结果...
使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不支持系统盘扩容。仅云盘类型（ESSD云盘、SSD云盘或高效云盘）的数据盘支持扩容，本地盘无法进行扩容。仅节点组状态为运行中时才可以进行磁盘扩容操作。Hadoop集群类型中通过弹性伸缩...
说明 在脚本中进行写入操作时，请注意：支持将数据写入远程存储系统，如阿里云OSS、HDFS等分布式文件系统。暂不支持将数据写入本地集群文件系统，请避免在脚本中直接操作本地路径。例如，/tmp/local_file.txt。资源 选择任务执行时所需的...
JindoFS缓存优化 改进缓存数据磁盘组织，解除对系统盘的依赖，实现数据盘之间完全独立，增强磁盘下线操作。改进缓存服务，增强节点容错处理和节点下线操作。改进缓存块写入磁盘的选择策略，默认支持轮询（Round Robin）。改进读写流程，...
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
StarRocks实例数据存储bucket上行带宽超过流控阈值 StarRocks实例数据存储bucket QPS超过流控阈值 当前用户下行带宽超过流控阈值 当前用户上行带宽超过流控阈值 当前用户QPS超过流控阈值 节点因系统维护需要重启 支持立即重启或预约时间...
开通日志查询功能后，系统将在日志服务中自动创建Project和Logstore，用于存储和管理日志数据。使用日志查询功能可能会产生相关费用，详情请参见 计费概述。进入EMR Serverless StarRocks日志查询页面。登录 E-MapReduce控制台。在左侧导航...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
资源估算 CU对应Serverless Spark底层系统的CPU计算能力。一个计算任务的CU使用量取决于该任务实际处理的数据量、计算复杂程度、处理的数据分布情况，以及是否开启 Fusion引擎 加速。开启Fusion引擎加速后，当前不会有额外的资源成本增加，...
按量付费转包年包月 欠费说明 实例欠费后有停机风险，系统会提醒或通知您。请及时续费，避免对您的服务造成影响。欠费说明 续费说明 包年包月的EMR Serverless StarRocks实例到期后会影响服务的正常运行。如果您想继续使用，可以在释放前...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
状态名 状态说明 待支付 只有完成支付后，系统才会开始创建实例。已支付 订单已成功支付。启动中 实例正在创建中，该状态会持续3~10分钟。运行中 实例处于正常运行状态。升级中 实例处于升级中，扩缩容、升降配、修改静态配置等都会触发...
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
Redis开源版 5.0以下版本（如2.8、4.0）支持通过备份数据克隆至5.0版本，便于您进行兼容性验证。操作步骤 访问 实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中，单击 备份与恢复。根据实例架构，克隆实例。标准架构 找到...
如果您的按量付费集群承载了关键业务、存储了重要数据或配置，建议为该集群开启释放保护，以防止集群被意外释放，从而导致不可挽回的后果。开启释放保护后，您将无法直接释放集群。如需释放集群，需先关闭释放保护。使用限制 该功能仅适用...
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。...系统会自动为SELECT语句加上'limit 2000'的限制。select*from test1;单击 保存，作业内容编辑完成。
在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例时，相当于对EMR集群进行降配。每释放一个ECS实例，将生成一笔降配退款订单。当ECS实例数量降至零时，即表示对EMR集群的降配已达到0。降配时，将退还对应的EMR服务...
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...