在对E-MapReduce（简称EMR）集群进行节点扩容时，如果启用了尽力交付功能，那么即使遇到如ECS资源库存不足或ECS部署失败等问题，系统也会尽可能地将所有成功创建的节点加入到集群中，来保证业务的连续性和稳定性。前提条件 已创建数据湖...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
背景信息 EMR Flink完全兼容开源Flink，相关内容请参见社区文档。例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink...
Task节点组付费类型为按量付费或者抢占式实例类型。支持对EMR集群的Gateway节点缩容，集群还需满足以下条件：EMR集群版本5.x高于5.10.1。集群状态为运行中。Gateway节点组付费类型为按量付费。Hadoop集群类型中通过弹性伸缩模块创建的弹性...
在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择 原生UI地址、Knox代理地址、SSH本地端口转发 或 SSH动态端口转发 方式进行访问。快速...
名称 类型 描述 示例值 object PaymentDurationUnit string 付费时长单位。取值范围：Month：月。Month PaymentDuration integer 付费时长。PaymentDurationUnit 取值为 Month 时，取值：1、2、3、4、5、6、7、8、9、12、24、36、48、60。...
例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启将会导致业务出现闪断，请您确认客户端已经做好业务重试机制，以免影响业务正常使用！释放：当您不再需要某个实例提供服务时，您可以释放该实例，以免...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
集群实例各付费类型数量分布 查看所选时间段内集群每小时按量付费、抢占式实例的节点数量以及核数的变化情况。集群core时统计 查看所选时间段内集群每小时按量付费和抢占式实例核数的变化情况。集群弹性伸缩总览 查看所选时间段内集群每...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto，其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto，其内核均为PrestoSQL或Trino，相关信息请参见 Trino。基本特性 ...
说明 阿里云提供延期免停权益，即当按量付费的资源发生欠费后，提供一定额度或时长继续使用云服务的权益，延停期间正常计费。具体使用说明和规则，请参见 延期免停权益。欠费后第1天到第7天，实例处于锁定状态，无法被访问。实例锁定后第8...
PayAsYouGo SubscriptionConfig SubscriptionConfig 预付费配置。CreateTime long 集群创建时间戳。自 1970 年 1 月 1 日（00:00:00 GMT）至集群创建时的总毫秒数。1592837465784 ReadyTime long 集群可用时间戳。自 1970 年 1 月 1 日（00...
本文为您介绍如何管理计算组，包括新增计算组、配置计算组、重启计算组等操作，以帮助您优化资源利用，提升系统整体效能。前提条件 已创建StarRocks实例，详情请参见 创建实例。新增计算组 说明 仅StarRocks 3.3及以上版本的存算分离版实例...
系统会在到期前 7天 发送到期提醒。EMR集群已到期但是集群的ECS实例未到期时，会产生计费吗？如何解决？如果EMR集群已到期，ECS未到期，会导致集群不可用，且集群的节点持续计费。此类场景，通常是由于EMR实例和ECS实例的到期时间不一致...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
名称 类型 描述 示例值 object 托管伸缩约束。MaxCapacity integer 最大值。2000 MinCapacity integer 最小值。0 MaxOnDemandCapacity integer 按量付费 Task 节点的最大数量。0
本文为您介绍EMR Serverless Spark的...续费说明 包年包月的配额到期后，工作空间内提交至包年包月付费类型队列的任务将停止运行。为避免对您的业务产生影响，请务必及时续费。退订说明 为您介绍EMR Serverless Spark的退费规则及相关操作。
使用限制 为避免由于ECS库存不足造成的弹性伸缩失败，您可以在新增节点组时配置多种实例规格，最多可以选择10种ECS实例规格作为备选，系统将按照您选择的顺序购买实例。每个节点创建时，会从第一个规格开始尝试，如果该规格库存不足，则...
开通DLF后，系统会为您选择默认的DLF数据目录，默认为UID。如果针对不同集群您期望使用不同的数据目录，则可以按照以下方式新建目录。单击 创建数据目录，在弹出的对话框中输入 目录ID，然后单击 确定。详情请参见 数据目录。在下拉列表中...
使用限制 集群类型 使用限制 DataLake、Dataflow、OLAP和Custom集群 仅支持付费类型为抢占式实例或按量付费的Task节点组。旧版Hadoop集群 仅支持付费模式为抢占式实例或按量付费的Task节点组。需要新建弹性伸缩专用的伸缩组，该节点组不...
在创建集群时，支持对系统盘绑定KMS密钥加密。适用客户 全网用户 新增功能/规格 在创建集群时，支持对系统盘绑定KMS密钥加密。产品文档 创建集群
当前支持的付费类型如下：按量付费：一种后付费模式，即先使用再付费。按量付费是根据实际使用的小时数来支付费用，每小时计费一次，适合短期的测试任务或是灵活的动态任务。包年包月：一种预付费模式，即先付费再使用。说明 建议测试场景...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
付费类型 当前节点组的付费类型。节点组名称 节点组名称不允许重复。交换机 可以在新建节点组的时候设置交换机（同一VPC内）。节点组创建好之后不可更改。实例类型 根据您实际情况选择实例。存储配置 系统盘：根据需要选择ESSD云盘或者高效...
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
说明 当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...
前提条件 按量付费的集群，请确保待释放集群的状态是创建中、运行中或空闲中。包年包月的集群，请确保集群的状态为运行中或启动失败，且集群不存在任何ECS实例。释放ECS实例，请参见 释放实例。确认集群已关闭释放保护功能，释放保护请参见...
混合计费模式支持在包年包月模式的基础上配置弹性计算资源，其结合了按量付费的灵活性与包年包月的成本效益，提供了一种更优化的计费策略。本文为您介绍混合计费的适用场景、计费规则，以及如何开启与使用弹性计算资源等信息。注意事项 仅...
按量付费是一种后付费的计费方式，您购买的资源费用将根据实际使用量结算，在每个结算周期生成账单并从账户中扣除相应费用。您可以按需开通资源，无需提前购买大量资源。按量付费说明 特性 说明 适用场景 按量付费主要适用于以下业务场景：...
在 EMR Serverless Spark预留资源|变配 页面，调整 CU配额 参数，系统将自动计算差额费用并展示。确认无误后，单击 立即购买。编辑按量配额上限 在Spark页面，选择目标工作空间操作列的 编辑按量配额上限。在弹出的对话框中，调整 按量配额...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
EMR Serverless Spark 资源抵扣包上线，价格更优惠。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 新增按量付费下的计算资源抵扣包，价格更优惠。首次购买3000CU*小时规格的抵扣包，可享受5折优惠。产品文档 资源抵扣包
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
付费类型 集群的付费类型。集群标签 集群的标签，可以编辑标签。编辑标签详情，请参见 设置标签。操作 集群支持的操作：集群服务：进入集群服务的页面，可以查看服务和管理服务。节点管理：进入节点管理页面，可以查看机器组信息，进行扩容...
包年包月的配额到期后，工作空间内提交至包年包月付费类型队列的任务将停止运行。如需继续使用，请及时对包年包月配额进行续费操作。本文将为您介绍续费的具体步骤。注意事项 如果账号欠费，您仍可以正常使用已有的包年包月配额，但无法...
不要在RAM访问控制台上删除或修改EMR服务角色的系统策略。AliyunEMRDefaultRole 该角色允许E-MapReduce服务在配置资源和执行服务级别操作时调用其他阿里云服务。所有集群都需要该角色，且不能更改。该角色详情请参见 EMR服务角色。该角色...
为秉承普惠开发者的宗旨，并结合产品对引擎能力的持续优化，EMR Serverless Spark按量付费商品预计于2024年11月12日10:00（UTC+8）起全面降价，以将引擎能力优化所带来的红利回馈给客户。降价说明 以下为按量付费价格调整前后的对比。有关...