名称 类型 描述 示例值 object 组件实例选择器。ActionScope deprecated string 执行范围。取值范围：APPLICATION：应用级别。COMPONENT：组件级别。COMPONENT_INSTANCE：组件实例级别 APPLICATION RunActionScope string 执行范围。取值...
开源形式建设 项目通过开源代码、开放生态进行建设，开发者可以查看和参与Serverless Devs开发者工具、组件和应用的贡献。功能灵活可插拔 所有的业务能力都是通过组件化的形式进行可插拔式使用，并且每个组件可以根据需要自定义相应的命令...
形态 文档 EMR on ECS 创建集群 克隆集群 新增服务 管理配置项 登录集群 管理事件中心（Hadoop集群）E-MapReduce Doctor 组件操作 EMR on ACK 资源管理 服务管理 作业管理 组件操作指南 EMR Serverless StarRocks 创建实例 连接实例 实例...
通过开源Elastic Search和DataV结合使用，可以实现数据分析和搜索结果的大屏展示。本文介绍在DataV中添加并使用开源Elastic Search数据源的方法。前提条件 已准备好待添加的开源Elastic Search数据源。使用限制 仅支持企业版及以上版本。...
截至目前，阿里云EMR on ECS已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的信息安全风险...
截至目前，阿里云E-MapReduce已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的信息安全风险...
截至目前，阿里云EMR Serverless Spark已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的信息...
丰富YARN、HDFS、Hive、Kafka和Zookeeper健康检查 适用客户 全网用户 新增功能/规格 丰富YARN、HDFS、Hive、Kafka和Zookeeper的健康检查项，以提升组件健康状态的准确度。产品文档 查看服务和组件健康状态
健康状态展示当前服务和组件的运行状态是否正常，它是由多个健康检查项结果汇总而成的。本文介绍如何查看服务组件的健康状态和健康检查历史。前提条件 已创建集群，详情请参见 创建集群。健康状态说明 健康状态主要有五种类型，分别是良好...
截至目前，阿里云EMR Serverless StarRocks已通过多项资质认证，能够满足您的多种合规要求。合规资质 说明 ISO27018 ISO27018建立了一套关于个人隐私保护的规范，涵盖了控制目标、控制内容及相应的实施指引。该标准依据ISO/IEC 27002识别的...
责任包括：针对阿里云安全中心发现的EMR大数据服务组件安全漏洞，发布相关公告，并提供相应的漏洞补丁及操作流程。基于完备的阿里云综合安全产品体系，保障EMR产品内部使用的计算、存储、网络等基础设施的安全性。基于阿里云账号认证体系，...
在集群服务页面，您可以查看集群中已安装服务（例如，HDFS和YARN等）的运行状态，组件列表及配置项信息。前提条件 已创建集群，详情请参见 创建集群。操作步骤 进入集群服务页面。登录 E-MapReduce控制台。在左侧导航栏，单击 EMR on ECS。...
修改配置项后，需要重启对应的服务使配置生效。本文为您介绍如何重启服务。前提条件 已在E-MapReduce上创建on...在 服务详情 页面，单击待重启组件操作列的 重启。在弹出的对话框中，输入 执行原因，单击 确定。在 确认 对话框中，单击 确定。
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
本文介绍E-MapReduce开发的准备工作。准备工作如下：请确认您已经开通了阿里云服务，并创建了AccessKey ID和AccessKey Secret。请确认您已开通OSS。您已经对Spark、Hadoop、Hive和Pig具备...您已经对阿里云E-MapReduce开发组件有一定了解。
为什么当ShuffleServiceMaster组件中容器组数量为1时，无法启动？为了保证高可用和正常运行，建议至少将该组件的容器组数量配置为3个。这是因为多副本部署能够确保即使在部分实例故障的情况下，整个服务依然能够保持稳定运行和服务请求。...
当健康检查发现异常时，对应节点或者组件的健康状态会同步变化，以便用户快速定位问题。本文介绍如何查看健康检查项，并根据实际需求自定义配置默认的健康检查项。说明 当前支持健康检查项管理的服务组件包括：YARN、HDFS、Hive、Kafka和...
计费常见问题 集群管理常见问题 组件常见问题：HDFS常见问题 YARN常见问题 Hudi常见问题 Hive常见问题 HBase常见问题 Kudu常见问题 Spark常见问题 Flink常见问题 StarRocks常见问题 Impala常见问题 ClickHouse常见问题 Zookeeper常见问题 ...
本文将为您介绍如何查看E-MapReduce集群中各节点上服务组件的部署信息。操作步骤 进入集群服务页面。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，单击目标集群操作列的 集群服务。在 集群...
YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的Master...
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData（3.8.x）版本更新的内容。JindoSDK 特性 描述 ...
Livy是一个通过REST接口或...支持版本 EMR 5.6.0及以下版本默认支持Livy组件。若您使用的是EMR 5.8.0或更高版本，请自行安装并评估兼容性和安全性风险。提交作业 您可以通过以下方式提交作业：REST API Programmatic API Java API Scala API
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
本文分别为您介绍非高可用集群和高可用集群的HDFS组件使用的本地磁盘目录。警告 组件使用目录被无故删除时，可能会造成服务异常，甚至数据丢失。非高可用集群 组件 使用目录 描述 NameNode/mnt/disk1/hdfs/name/mnt/disk1/hdfs/edit/mnt/...
调整Hive内存参数 在集群Hive组件页面，单击 配置，输入配置项名称进行修改。调整HiveMetaStore内存。调整 hive_metastore_heapsize（默认内存500 MiB），例如2048（代表2 GiB内存），可根据实际需要及机器内存，调整HiveMetastore内存大小...
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
若您的业务需集成特定组合的组件，您可创建自定义集群，灵活组合EMR提供的组件，打造适配业务特性的大数据平台。本文将为您介绍这些集群的区别，帮助您快速选型。业务场景选型 业务场景（集群类型）支持的组件 核心能力 适用场景 数据湖...
E-MapReduce支持在控制台对各服务参数新增、修改、删除配置...在 配置 页签，单击 配置修改历史，该页面会显示组件的配置历史。在 配置修改历史 对话框中，单击待回滚配置操作列的 回滚。在 回滚 对话框中，单击 确定，即可完成参数配置回滚。
从EMR-3.49.0及之后版本，EMR-5.15.0及之后版本开始，EMR会根据集群初始化的机型和服务选择情况，在创建集群过程中动态调整组件的默认内存设置，而不是使用之前版本中的默认配置。本文为您介绍YARN组件堆内存大小配置以及YARN资源配置的...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBASE-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
EMR Kafka集群管控页面显示Kafka相关组件异常，无法通过重启等方式恢复时，需要排查异常原因。本文介绍如何排查EMR Kafka服务异常和常见的异常处理方法。排查异常 说明 本文以Kafka Broker服务为例说明。登录EMR on ECS控制台，确认服务...
包含Trino组件的集群，当查询速度不符合数据处理要求，或某些大查询超出内存总量限制，且调整配置参数也不足以应对使用场景时，可以尝试进行扩容，通过新增Worker节点数的方式来增加Worker数量，从而满足业务需求。当业务高峰期已过或者当...
SparkSQL使用SparkThriftServer，在Spark组件上修改spark-thriftServer配置或添加自定义配置：在左侧导航栏中，选择 集群服务 Spark。单击 配置 页签。单击 服务配置 区域的 spark-thriftServer 页签。在 spark-thriftServer 页签，单击右...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
Druid工作层（数据索引以及查询）包含以下组件：Realtime组件负责数据的实时摄入。Broker组件负责查询任务的分发以及查询结果的汇总，并将结果返回给用户。Historical组件负责索引后的历史数据的存储，数据存储在deep storage。Deep ...
如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 系统盘加密的详细信息，请参见 加密云盘。前提条件 已开通密钥管理服务KMS并创建...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
该页面展示了部署服务的进程的实时状态，方便您监控组件的情况。查看节点详细监控指标 进入监控大盘页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 EMR on ECS 页面，单击目标集群操作列的 集群服务。在 ...