E-MapReduce支持在集群成功创建后...相关文档 如果您需要访问服务的Web UI，详情请参见 通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见 查看服务和组件健康状态。如果有服务相关的问题，详情请参见 集群管理常见问题。
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
您可以使用Superset连接多个数据源自助分析并可视化、定义图表和看板、导入或导出看板，并且可以对用户和角色进行权限管理。本文以EMR-3.34.0版本的集群为例为您介绍如何使用Superset。背景信息 Superset对E-MapReduce Druid做了深度集成，...
当某一个Impalad进程由于节点异常、网络异常或软件问题等导致节点不可用时，StateStore确保将状况结果通知其他Impalad进程，当有新的查询请求时，Impalad进程将不会发送查询请求到该不可用的节点。Catalogd 部署在Master节点的master-1-1...
集群管理新增报警管理功能，支持用户在EMR控制台创建和查看集群报警规则。适用客户 全网用户 新增功能/规格 集群管理新增报警管理功能，基于云监控服务，支持用户在EMR控制台创建和查看集群报警规则。如果资源的监控指标达到报警条件，云...
可选：在 集群基础信息 的 软件信息 区域，查看您Gateway集群的版本。如果您创建的集群是EMR-3.28.0和EMR-4.3.0之前版本，请在添加Hue服务前，登录Gateway集群任意节点，执行如下命令。mysql-u root-pEMRroot1234-hemr-header-1 EOF GRANT ...
Connector版本 EMR版本 Connector类型 文档及Demo 1.13-vvr-4.0.10及以上 EMR-3.38.0及以上 ververica-connector-datahub 文档：DataHub DataStream Connector Demo：ververica-connector-datahub-demo ververica-connector-kafka 文档：...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
EMR 利用 ECS 的弹性实例将开源 Hadoop 生态安装部署到云服务器中，并提供集群创建、扩缩容、服务配置和监控等管理功能。主要特点 组件丰富：集成 Hadoop、Spark、Hive、Flink、Presto 等开源组件以及自研的 OSS‑HDFS、JindoCache、DLF‑...
如果您对阿里云E-MapReduce的消费情况有疑问，可以...相关文档 账单详细内容，请参见 账单管理。包年包月的退款规则及退款操作，请参见 退款说明。包年包月类型有到期时间。如果您需要继续使用，请及时进行续费，续费操作请参见 续费说明。
主要介绍如何通过DMS连接StarRocks实例。适用客户 全网用户 新增功能/规格 数据管理DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理平台。您可以在DMS控制台录入StarRocks实例信息，...产品文档 通过DMS连接StarRocks实例
YARN和Hive等服务含有大量的配置项。如果您需要调整这些服务的配置项，则可以使用软件自定义配置功能，以修改现有配置或添加新的配置项。...相关文档 集群创建完成后，您还可以在各服务配置页面直接调整配置项，详情请参见 管理配置项。
Kafka Manager是专为Kafka设计的集群管理工具，提供了WebUI界面，允许用户通过图形化界面便捷地管理Kafka集群。本文为您介绍如何访问Kafka Manager的WebUI，并将集群添加至Kafka Manager的WebUI界面。前提条件 已创建选择了Kafka服务的...
加密系统盘后，系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求，则可以使用该功能。...创建集群时，您还需要对集群进行软件配置、硬件配置、基础配置和确认订单，配置详情请参见 创建集群。
很高 低 较高 事务性 支持 不支持 支持 性能 高 低 较高 扩展性 依赖于具体实现 高 高 面向人员 管理人员 管理人员、数据科学家 管理人员、数据科学家 成本 高 低 低 适用场景 Delta适用于云上数据湖数据管理解决方案。如果您存在以下场景...
说明 这些命令和软件包的具体使用方式可能因系统版本和配置而有所不同，建议您根据实际情况使用。单击 保存。在弹出的对话框中，输入 执行原因，单击 保存。重启Presto服务。单击上方的 服务详情 页签。在 组件列表 区域，单击 ...
加密数据盘后，数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求，则可以使用该功能。...创建集群时，您还需要对集群进行软件配置、硬件配置、基础配置和确认订单，配置详情请参见 创建集群。
配置工作空间成员，以便RAM用户或者RAM角色能够快速使用该工作空间。通过用户管理功能，您可以对...相关文档 创建任务和工作流前，您需要先创建项目，详情请参见 创建项目。创建任务和工作流，详情请参见 创建并运行手动任务 和 创建工作流。
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
用户可以在节点管理功能内查看节点的健康状态，及时发现异常节点。适用客户 全网用户 新增功能/规格 节点健康状态展示了当前节点的运行状态是否正常。用户可以在节点管理功能内查看节点的健康状态，及时发现异常节点。产品文档 ...
平台侧 功能分类 功能更新说明 相关文档 数据目录 支持同时添加多个 DLF（之前称为DLF 2.5）数据目录，以便进行联邦查询。在添加DLF数据目录之前，请确保移除所有DLF 1.0的数据目录。管理数据目录 Livy Gateway 默认适配DLF，通过Livy提交...
概述 2025年1月20日，我们正式对外发布 Serverless Spark 新版本，包括平台管理、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 售卖 新增按量付费下的计算资源抵扣包，价格更优惠。稳定性 任务资源申请效率和运行稳定性提升。全面...
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它...快速入门 EMR Notebook 快速使用EMR Notebook EMR Workflow 手动任务快速入门 工作流快速入门 相关文档 什么是EMR Notebook 什么是EMR Workflow
EMR集群模板可持久化保存集群配置（如软件版本、实例类型等），实现一键创建相同配置的集群，避免重复操作。该功能适用于需要快速部署测试环境或多套生产环境的场景，能显著提升效率并保证配置一致性。功能特性 配置持久化：保存除密码外的...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
每个工作空间都会默认包含dev_queue和root_queue两个队列，用于承载任务的运行。...相关文档 创建、运行工作流等操作，请参见 管理工作流。权限相关的操作，请参见 管理用户和角色。SQL会话相关的操作，请参见 管理SQL会话。
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。...相关文档 针对Core节点组进行缩容，详情请参见 手工缩容Core节点组。缩容集群相关的问题，详情请参见 集群管理常见问题。API方式，详情请参见 DecreaseNodes-缩容。
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。更多信息，请参见 什么是OSS-HDFS服务。JindoData是阿里云开源大数据团队自研的数据湖存储加速...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...
背景信息 EMR Flink完全兼容开源Flink，相关内容请参见社区文档。例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink...
本文将为您介绍E-MapReduce服务的权限管理体系。权限体系 类别 说明 权限主体 E-MapReduce支持的权限主体如下：用户：包含阿里云账号、RAM用户。支持添加、删除、查询用户等管理操作。详细用户管理信息，请参见 RAM用户概览。角色：E-...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
Delta Lake是一个开源存储框架，旨在数据湖之上构建LakeHouse架构。Delta Lake提供了ACID事务支持、可扩展的元数据处理功能，并能够在现有的数据湖（如OSS、Amazon S3和HDFS）上整合流处理与批处理。此外，Delta Lake还支持多种引擎，如...