阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
您也可以选中多个RAM用户，单击用户列表下方的 添加权限，为RAM用户批量授权。在 新增授权 面板，为RAM用户添加相应的权限。参数 描述 授权范围 选择所需的应用范围：账号级别：权限在当前阿里云账号内生效。资源组级别：权限在指定的资源...
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。相关文档 如何使用Hive客户端连接Hive，请参见 Hive连接方式。Hive服务...
此命令提供了一种用户显式淘汰本地数据块的方式。Hive分区表按天分区，假如业务上对一周前的分区数据认为不会再经常访问，那么就可以定期将一周前的分区目录执行archive，淘汰本地备份，文件备份将仅仅保留在后端OSS上。Archive命令的使用...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
Apache Celeborn是阿里云开源的中间数据服务，旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎，支持Spark、Flink、MapReduce(MR)和 Tez，并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
工作空间为多角色协同开发的基本单元，所有开发工作都将在具体的工作空间内开展，如果您需要RAM用户（子账号）或RAM角色协同开发，您可以将RAM用户或角色加入工作空间并按照职能为该用户分配空间角色。背景信息 EMR Serverless Spark支持的...
RAM用户相关操作 RAM用户管理 AK安全方案 RAM用户SSO管理 RAM用户组 当您的阿里云账号下有多个RAM用户时，可以通过创建用户组对职责相同的RAM用户进行分组管理和批量授权，高效地管理RAM用户及其权限。对于RAM用户组的使用，建议您：在对...
RAM用户相关操作 RAM用户管理 AK安全方案 RAM用户SSO管理 RAM用户组 当您的阿里云账号下有多个RAM用户时，可以通过创建用户组对职责相同的RAM用户进行分组管理和批量授权，高效地管理RAM用户及其权限。对于RAM用户组的使用，建议您：在对...
RAM用户相关操作 RAM用户管理 AK安全方案 RAM用户SSO管理 RAM用户组 当您的阿里云账号下有多个RAM用户时，可以通过创建用户组对职责相同的RAM用户进行分组管理和批量授权，高效地管理RAM用户及其权限。对于RAM用户组的使用，建议您：在对...
RAM用户相关操作 RAM用户管理 AK安全方案 RAM用户SSO管理 RAM用户组 当您的阿里云账号下有多个RAM用户时，可以通过创建用户组对职责相同的RAM用户进行分组管理和批量授权，高效地管理RAM用户及其权限。对于RAM用户组的使用，建议您：在对...
广告投放分析 管理驾驶舱 探针分析APM（Application Performance Management）高并发查询 广告主报表分析 零售行业渠道人员分析 SaaS行业面向用户分析报表 Dashboard多页面分析 统一分析 通过使用一套系统解决多维分析、高并发查询、预计算...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户降低成本并提高效率。产品文档 ...
多网卡或配置了虚拟网卡的情况下，请在启动脚本中修改 JAVA_OPTS 变量，添加-Dnetwork_interface_binding=XX 指定物理网卡。检查以下端口是否被占用，如被占用请关闭相关进程：9600、9601、9603、9610、9611、9612、9614、9615、9620、9621...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板。适用客户 全网用户 新增功能/规格 EMR Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板，按照配置模板生效配置信息。产品文档 配置管理
变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）存量用户 变更内容 标题及适用范围调整：将从“开源大数据平台E-MapReduce Serverless服务等级协议”调整为“开源大数据平台E-MapReduce Serverless StarRocks...
在存算分离集群支持多AZ的容灾部署功能。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks支持将数据以快照文件的形式备份至阿里云OSS，或将备份的数据从阿里云OSS恢复至新的实例中。该功能不仅保障了数据的安全性和业务的连续性...
有关 RAM 权限策略的更多信息，请参阅 权限策略概览。说明 产品系统策略旨在帮助用户快速入门，仅需简单配置即可通过控制台访问该产品及其依赖产品。虽然系统策略包含的权限同样适用于 OpenAPI 或 CLI 等访问方式，但为了提高安全性，我们...
StarRocks支持多维度健康报告，提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景。该健康报告提供了前一天（T+1）的数据，并包括SQL查询、...
为什么Ranger UserSync无法自动同步Linux/LDAP用户？问题分析：该问题主要存在于EMR-3.23.0及之前的版本。解决方法：登录集群的emr-header-1节点，手动修改配置文件/etc/ecm/ranger-usersync-conf/ranger-ugsync-site.xml 中 ranger....
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
单集群部署架构图 多集群部署架构图 内置MySQL部署架构图 元数据存储在MySQL中，且MySQL Server实例部署在用户的EMR集群中（通常是Master节点）。由于每个集群都有一个MySQL，导致多个集群间的元数据不能共享。说明 内置MySQL登录的用户名...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
版本说明 MSE Nacos 版本 开源控制台默认状态 是否支持鉴权 描述 1.x及2.2.3.1之前的2.x版本 开启 不支持 默认开启开源控制台，且不支持鉴权，开源控制台的URL可被任何人访问，建议使用商业化控制台。若确实需要使用，建议 设置白名单 来...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...
多连接器 如果您有多个Hive集群，或者同时访问DLF与Hive Metastore，可以通过以下方式配置多连接器：在 etc/catalog 路径下增加相应数量的.properties后缀的Catalog文件。例如，如果您创建了一个名为sales.properties的属性文件，则Presto...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...