在阿里云E-MapReduce（简称EMR）体系中，Gateway实例扮演着至关重要的角色。它可以作为一个独立的作业提交点，关联到已有的集群。本文为您介绍如何在已有的EMR集群基础上创建Gateway集群和Gateway节点组。Gateway集群或Gateway节点组通常是...
阿里云E-MapReduce默认在每个Master节点上部署一个Hue实例，当Hue访问压力过大时，其加载速度会变慢。本文介绍如何通过Gateway集群增加Hue实例数量，并通过阿里云负载均衡（Server Load Balancer）访问Hue，实现Hue多实例负载均衡。前提...
您可以在创建集群时打开 挂载公网 开关，或者在集群创建好之后在ECS控制台上为主节点挂载公网，为主节点ECS实例分配固定公网IP或EIP，详情请参见 绑定辅助弹性网卡。集群安全组已开放22端口。登录集群主节点 SSH密钥方式 说明 如需获取主...
开启自动补偿功能后，当E-MapReduce（简称EMR）监测到您集群的ECS实例无法维持EMR上的引擎服务正常工作时，EMR的自动补偿功能会尝试为您新购ECS实例替换掉异常的ECS实例。前提条件 已创建数据湖（DataLake）、实时数据流（DataFlow）或...
本文汇总了E-MapReduce（简称EMR）计费的常见问题。E-MapReduce是否支持自动续费？如何查看EMR集群和所属的ECS实例的到期时间？EMR集群已到期但是集群的ECS实例未到期时，会产生计费吗？如何解决？EMR计费模式是否可以转换？我确认订单后未...
云监控（CloudMonitor）是阿里云的一种监控告警服务，当您需要监控E-MapReduce资源的使用和运行情况时，可以通过创建阈值报警规则，实现监控项超过设定阈值后自动发送报警通知的功能，帮助您及时了解监控数据异常并快速进行处理。...
本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档，帮助您了解E-MapReduce的发布动态。版本说明详情，请参见 版本概述。E-MapReduce的重要功能发布详情请参见 产品重大更新。2024年 2024年03月 功能名称 功能概述 发布时间 ...
在E-MapReduce数据开发的页面，找到对应的工作流实例，单击 运行记录。在 运行记录 区域，单击待查看工作流实例所在行的 详情，在 作业实例信息 页面查看执行集群ID。在日志保存目录 OSS:/mybucket/emr/spark 下，查找执行集群ID目录。在 ...
hadoop distcp/apps hdfs:/${实例ID}/hadoop distcp/emr-flow hdfs:/${实例ID}/hadoop distcp/emr-sparksql-udf hdfs:/${实例ID}/hadoop distcp/hbase hdfs:/${实例ID}/hadoop distcp/spark-history hdfs:/${实例ID}/hadoop distcp/tmp ...
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
登录阿里云，进入 E-MapReduce控制台 的EMR Serverless StarRocks页面，单击 创建实例。更多关于创建StarRocks实例的操作，请参见 创建实例。下载starrocks-benchmark测试工具包并解压 您需要登录步骤1中创建的ECS实例，在节点上执行如下...
登录阿里云，进入 E-MapReduce控制台 的EMR Serverless StarRocks页面，单击 创建实例。更多关于创建StarRocks实例的操作，请参见 创建实例。下载starrocks-benchmark测试工具包并解压 您需要登录步骤1中创建的ECS实例，在节点上执行如下...
在E-MapReduce控制台的 节点管理 页面，单击主实例组所在行的 图标。即可查看节点的内网IP地址。登录数据集群，详情请参见 登录集群。执行 hostname 命令，获取主机名。例如，主机名形式如下：Hadoop集群：emr-header-1.cluster-26*。其余...
创建实例 扩缩容实例 升降配实例 实例升级 阿里云EMR Serverless StarRocks支持实例版本的升级，您可以便捷地将实例更新至最新版本，享受性能改进与功能增强。版本升级 实例配置 EMR Serverless支持通过控制台查询或修改StarRocks BE、FE等...
本文介绍阿里云E-MapReduce的退款规则和退款方式。退款规则与方式 计费方式 退款规则 退款方式 包年包月 包年包月的集群在购买时已经根据购买时长预先支付了费用。在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例...
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
本文介绍如何使用MapReduce读写JindoFS上的数据。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs jfs.namespaces.emr-jfs.oss.uri=oss:/oss-bucket/oss-dir jfs.namespaces....
本文介绍阿里云E-MapReduce的计费项、计费方式、转换计费方式、续费说明、欠费说明、查看消费明细、退费说明、查看账单和计费常见问题。相关项 描述 相关文档 计费项 为您介绍E-MapReduce的计费项，以及相关计算公式，以便您对支付的费用...
EMR StarRocks Manager是阿里云EMR团队为Serverless StarRocks实例提供的数据管理控制台。它为您提供了对实例内数据的全面管理，诊断与分析，以及安全权限配置等能力。本文为您介绍如何使用SQL Editor连接StarRocks实例。前提条件 已创建...
本文档汇总了E-MapReduce的产品公告、发布记录、常见问题和服务等级协议等内容。产品公告 EMR Workflow公测说明 EMR旧版数据开发迁移公告 发布记录 新功能发布记录 常见问题 EMR on ECS常见问题 服务等级协议 E-MapReduce服务等级协议（SLA...
如果您是初次使用E-MapReduce，请参见快速入门文档，以帮助您快速了解如何购买和使用E-MapReduce。标题 EMR on ECS EMR on ECS快速入门 E-MapReduce快速入门 EMR on ACK快速入门 EMR Serverless StarRocks 快速使用EMR Serverless ...
如果需要为集群中ECS实例和EMR实例设置不同的自动续费策略，则单击右上角的 自定义自动续费规则，在EMR实例和ECS实例区域的 配置自动续费规则 下拉列表中，分别选择续费的时长即可。单击 确定。自动续费开通后，后续系统会在资源到期前自动...
EMR Workflow的安全中心支持管理集群、告警组和告警实例。本文为您介绍如何绑定集群、创建告警实例和告警组。前提条件 已创建集群，具体操作请参见 创建集群。绑定集群 说明 支持绑定的集群类型为DataLake、Hadoop和Custom。进入安全中心...
工作流实例是工作流定义的实例化，可以通过手动启动或定时调度生成。当工作流被触发执行时，工作流定义就会实例化成为一个工作流实例。本文为您介绍工作流实例的相关操作。前提条件 已创建并运行工作流，详情请参见 创建工作流 和 运行工作...
本服务等级协议（Service Level Agreement，简称“SLA”）规定了阿里云向客户提供的E-MapReduce（简称“EMR”）的服务可用性等级指标及赔偿方案。服务等级协议详情请参见 E-MapReduce服务等级协议。
E-MapReduce Workflow服务等级协议（SLA）的详情，请参见 E-MapReduce Workflow服务等级协议。
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。本文为您介绍如何升级节点的配置。前提条件 已创建集群，详情请参见 创建集群。使用限制 仅E-MapReduce包年包月集群支持升级配置。...
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
本文为您介绍如何使用客户端方式连接Serverless StarRocks实例。前提条件 已创建Serverless StarRocks实例，详情请参见 创建实例。使用SQL Editor连接StarRocks 进入StarRocks Manager页面。登录 E-MapReduce控制台。在左侧导航栏，选择 ...
为了使用告警功能，您需要先创建相应的告警实例，并将其添加到所选的告警组中。创建告警实例 进入安全中心页面。使用阿里云账号（主账号）或RAM用户登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Workbench>Workflow。在Workflow页面，...
hadoop jar<HADOOP_HOME>/share/hadoop/
mapreduce/hadoop-
mapreduce-examples-x.x.x.jar wordcount \-Dalluxio.user.file.writetype.default=CACHE_THROUGH \-libjars/<PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar \<path1><path2>...
本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路 当发现索引失败时，一般遵循如下排错思路：对于批量索引 如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...
本文介绍在E-MapReduce作业配置中使用的OSS URI。OSS URI 使用E-MapReduce时，通常会使用两种OSS URI：native URI：oss:/bucket[.endpoint]/object/path。您在作业中指定输入输出数据源时使用此URI，等同于 hdfs:/。您操作OSS数据时，可以...
访问E-MapReduce（简称EMR）上的ClickHouse集群支持通过原生JDBC访问和通过负载均衡SLB访问两种方式。本文为您介绍如何通过这两种方式访问ClickHouse集群。背景信息 通过原生JDBC访问ClickHouse集群的架构图如下。通过负载均衡器SLB访问...
本文介绍EMR Serverless StarRocks实例的状态表。状态名 状态码 状态说明 待支付 unpaid 实例创建订单尚未支付。订单支付后才会进行实例的创建。启动中 creating 实例正在创建中，该状态会持续3~10分钟。运行中 running 实例处于正常运行...
本文介绍了E-MapReduce的SDK和API相关的内容，供您进行对应的开发操作。EMR on ECS API概览 SDK概述
阿里云E-MapReduce SDK包含阿里云Java SDK公共部分和E-MapReduce部分，公共部分依赖 aliyun-java-sdk-core，E-MapReduce部分依赖 aliyun-java-sdk-emr。我们推荐您采用Maven的方式来管理您的工程。Maven依赖<dependency><groupId>...
创建Kafka集群 如果需要新建包含Kafka的集群，请登录E-MapReduce新版控制台创建DataFlow类型集群，创建集群详情请参见 创建DataFlow Kafka集群。本地盘Kafka集群 当在本地盘上部署Kafka服务时，您需要在E-MapReduce控制台的 配置 页面，...