通过阅读本文，您可以快速了解EMR on ACK的计费资源和相关产品计费等信息。计费资源 2024年04月01日起阿里云E-MapReduce（简称EMR）on...容器服务Kubernetes 基于ACK的资源安装部署大数据服务组件，并在容器内运行。收费详情请参见 产品计费。
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
目前Spark Shuffle方案缺点如下：Shuffle Write在大数据量场景下会溢出，导致写放大。Shuffle Read过程中存在大量的网络小包导致的Connection reset问题。Shuffle Read过程中存在大量小数据量的IO请求和随机读，对磁盘和CPU造成高负载。...
MapReduce中是否可以调用Shell文件？reduce.setup能否读入输入表？Mapper是否支持同一表格多分区输入？Mapper可以直接从Record中读取分区数据段的信息吗？Label和分区是什么关系？MapReduce中是否可以只有Map？Mapper中输入表中的每条...
当E-MapReduce集群的数据存储空间不足时，您可以根据本文进行磁盘（数据盘）扩容。本文为您介绍如何对数据盘进行扩容。前提条件 已在E-MapReduce控制台创建集群，详情请参见 创建集群。使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不...
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
在E-MapReduce数据开发的页面，找到对应的工作流实例，单击 运行记录。在 运行记录 区域，单击待查看工作流实例所在行的 详情，在 作业实例信息 页面查看执行集群ID。在日志保存目录 OSS:/mybucket/emr/spark 下，查找执行集群ID目录。在 ...
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
阿里云E-MapReduce默认在每个Master节点上部署一个Hue实例，当Hue访问压力过大时，其加载速度会变慢。本文介绍如何通过Gateway集群增加Hue实例数量，并通过阿里云负载均衡（Server Load Balancer）访问Hue，实现Hue多实例负载均衡。前提...
本文为您介绍在阿里云E-MapReduce上创建及配置Kafka集群的方法与相关注意事项。创建Kafka集群 如果需要新建包含Kafka的集群，请登录E-MapReduce新版控制台创建DataFlow类型集群，创建集群详情请参见 创建DataFlow Kafka集群。说明 EMR-5.18...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
本文以EMR-3.27.0集群为例，通过以下示例为您介绍如何在E-MapReduce集群中开发MR作业。在MapReduce中使用OSS 在MapReduce中读写OSS，需要配置如下参数。说明 请确保在代码运行环境设置了环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_...
造成服务不稳定的情况可能有很多，最常见的情况是znode数量过大或者snapshot过大，由于ZooKeeper将所有的znode维护在内存中，并且需要在节点间进行数据同步，因此过大的znode数量或者容量会对服务稳定性造成影响。ZooKeeper的定位是一个...
集群类型 Data Science：主要面向大数据+AI场景，提供Hive和Spark离线大数据ETL和TensorFlow模型训练，您可以选择CPU+GPU的异构计算框架，通过英伟达GPU对部分深度学习算法进行高性能计算。产品版本 默认最新的软件版本。组件版本 展示集群...
本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路 当发现索引失败时，一般遵循如下排错思路：对于批量索引 如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...
该目录下的文档仅适用于旧版控制台，E-Mapreduce（简称EMR）计划分阶段下线旧版控制台，详情请参见 EMR旧版控制台下线公告。建议您切换至 EMR新版控制台 管理集群，相应新版文档如下：集群管理：详情请参见 集群管理。监控大盘：作业大盘：...
元数据同步策略 缓存模式下可能存在JindoFS集群构建之前，您已经在OSS上保存了大量数据的场景，对于这种场景，后续的数据访问会同步数据和元数据到JindoFS集群，数据同步策略为了访问数据都会在本地保留一份；元数据同步策略分为两部分，...
横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 人工智能平台 PAI 等。多个EMR集群时，可以统一管理元数据。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 步骤一：创建集群。使用...
使用场景 典型的应用场景如下：近实时计算场景 时间序列数据的场景 预测建模 与存量数据共存 通常生产环境中会有大量的存量数据，数据可能存储在HDFS、RDBMS或Kudu中。如果您只是想访问和查询这些存量数据，可以使用Impala访问和查询，而...
E-MapReduce（简称EMR）的数据湖（DataLake）、数据服务（DataServing）和自定义业务场景下的集群默认提供EMR Doctor服务，如果您使用的是旧版数据湖场景下的Hadoop集群类型（EMR-3.41.0之前版本、EMR 4.x版本、EMR-5.6.0之前版本），则...
商业化开启后SLA将立即生效，详情请参见 E-MapReduce Serverless Spark服务等级协议（SLA）。公测期间包年包月的工作空间仅支持续费一个月。说明 如果在使用过程中遇到任何疑问，可以加入钉钉群 58570004119 进行咨询。公测操作流程 公测...
Spark：是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark集群...
第二个MapReduce任务再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保证相同的Group By Key分布到同一个Reduce中），最后完成最终的聚合操作。如果两个大表进行JOIN操作时，出现热点，则使用热点Key随机化。例如，...
具体报错 java.io.IOException:Xceiver count xxxx exceeds the limit of concurrent xcievers:xxxx 问题原因 dfs.datanode.max.transfer.threads 参数用来设置DataNode处理读写数据流的线程池大小，默认值为4096个。如果该参数设置太小，...
最小授权可以避免用户操作权限过大，提高数据安全性，减少因权限滥用导致的安全风险。不要把RAM用户的AccessKey ID和AccessKey Secret保存在工程代码中，否则可能导致AK泄露，威胁您账号下所有资源的安全。建议您使用STS或环境变量等方式...
MRHistoryServer（MapReduce History Server）解析MapReduce作业的指标，并展示作业执行情况。定期删除过期的聚合日志。TimelineServer 收集作业的指标，并展示作业执行情况。说明 该组件仅用于监控单个作业的资源使用情况，不会导致数据...
mode.limit-users=false 说明 在执行与YARN密切相关的大数据任务（如Spark、Hive、Sqoop等）时，建议 任务提交节点 选择为 EMR集群worker节点（提交到Yarn执行）的方式提交任务，以充分利用YARN的资源调度和管理能力。脚本 您自定义的Shell...
Celeborn是一个处理中间数据的服务，能够提升大数据引擎的稳定性、灵活性和性能。本文为您介绍如何使用Celeborn服务。背景信息 目前Shuffle方案的缺点如下：Shuffle Write在大数据量场景下会溢出，导致写放大。Shuffle Read过程中存在大量...
EMR Serverless Spark介绍 EMR Serverless Spark是一款云原生，专为大规模数据处理和分析而设计的全托管Serverless产品。产品优势如下：云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升300%。内置...
背景介绍 TPC-DS是一套决策支持系统的基准测试，它对决策支持系统的几个通用方面进行建模，包括查询和数据维护，用于衡量大数据产品的分析性能。TPC-DS模拟了零售企业三种销售渠道（实体店、互联网、目录）的销售和退货业务，除了建立相关...
mapreduce.map.memory.mb=4096 mapreduce.reduce.memory.mb=4096 同时修改 mapreduce.map.java.opts 和 mapreduce.reduce.java.opts 的JVM参数-Xmx 为 mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb 的80%。mapreduce.map.java....
数据湖集群相较于原有的Hadoop集群，在集群运维能力和组件性能上均有较大提升，详情请参见 数据湖集群。如需了解新版本的特性，请参见 版本概述。关于集群迁移的具体步骤，请参见 Hadoop集群迁移至DataLake集群。感谢您的理解与支持！
操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Spark SQL类型作业。在页面左侧，...
您可以直接在控制台上编写、运行和管理SQL查询语句，无需下载或安装任何本地客户端软件，极大地方便了数据分析师和开发人员对数据进行实时查询与分析。前提条件 已创建StarRocks实例，详情请参见 创建实例。进入SQL Editor 进入EMR ...
EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，为您提供对实例内数据的管理、诊断与分析，以及安全权限配置等功能。前提条件 已创建StarRocks实例，详情请参见 创建实例。步骤一：进入StarRocks...
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
E-MapReduce数据开发支持Shell、SparkSQL、Spark Shell和HiveSQL四种类型的临时查询作业。注意 创建作业时作业类型一经确定，不能修改。单击 确定。设置作业 各个具体作业类型的开发与设置，请参见 作业 部分。以下内容介绍的是作业的 基础...