本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
阿里云开源大数据平台E-Mapreduce（EMR）联合日志服务推出日志功能，用于将EMR日志投递到日志服务进行查询分析。本文介绍EMR日志相关的资产、费用、使用限制以及如何在EMR控制台中开启日志投递功能，将EMR日志投递到日志服务中。资产详情 ...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
深入解析E-MapReduce集群Master节点开启公网IP的配置审计规则，助您洞悉其高危风险，掌握检测逻辑与修正指南，从根源上加固大数据平台安全防线。
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr，支持的授权粒度为 资源级。权限策略通用结构 权限策略...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
磁盘变配 通过磁盘变配功能，您可以升级现有实例的云盘类型，但仅支持从较低级别的云盘升级到较高级别。例如，将PL1级别的云盘升级至PL2级别。进入EMR Serverless StarRocks实例详情页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...
弹性伸缩是云上大数据平台的核心能力。通过按需自动扩缩容节点，能够快速满足业务的波动，并降低算力成本。本文为您介绍如何根据您的业务特点为集群配置合适的弹性伸缩规则，以满足您业务量需求不断波动的情况，并更好的为您节省成本。前提...
背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动程序等，为面向批处理或实时查询提供了一个熟悉且统一的平台。注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive...
vpc:UnassociateEipAddress 将弹性公网IP（EIP）从绑定的云产品上解绑。vpc:ReleaseEipAddress 释放指定的弹性公网IP。vpc:DescribeEipAddresses 询指定地域已创建的EIP。cms:CreateAlarm 创建一个报警任务。cms:DeleteAlarm 删除一个报警...
微服务引擎MSE（Microservices Engine）是一个面向业界主流开源微服务生态的一站式微服务平台，提供注册配置中心（原生支持Nacos、ZooKeeper、Eureka）、云原生网关（原生支持Ingress、Envoy）、微服务治理（原生支持Spring Cloud、Dubbo、...
namespace.sysinfo.oss.access.secret 阿里云的AccessKey Secret。批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传...
namespace.sysinfo.oss.access.secret 阿里云的AccessKey Secret。批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...
支持的集群类型如下：Hadoop：提供最丰富的开源组件列表，完全兼容Hadoop生态。可应用于大数据离线处理、实时处理和交互式查询等多种使用场景。支持构建数据湖架构，使用JindoFS进行数据湖加速。Zookeeper：提供独立的分布式一致性锁服务，...
对于RAM用户的使用，建议您：使用阿里云账号创建一个RAM用户，并为RAM用户授予管理员权限，后续使用有管理员权限的RAM用户创建并管理其他RAM用户。将人员用户和程序用户分离。创建RAM用户时，支持设置 控制台访问 和 使用永久AccessKey访问...
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的 enableLDAP。在弹出...
条件关键字：是指云产品自身定义的条件关键字。关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。操作 访问级别 资源类型 条件关键字 关联操作 emr:DeleteApiTemplate delete*全部资源*无 无...
创建实例后，如果当前实例配置无法满足您的...如果您需要了解ESSD云盘的更多信息，详情请参见 ESSD云盘。如果您需要查看计费信息或计费示例，详情请参见 计费方式。如果您对消费情况有疑问，可以查看费用账单以及明细，详情请参见 查看账单。
您的阿里云账号没有未支付的扩容、缩容或续费订单。如果有未支付的订单，您必须先支付或作废未支付的订单。注意事项 扩缩容期间，服务可能出现中断，请确认业务使用方已增加重试机制。扩缩容期间，不可进行其他的升配，降配，修改配置，...
您的阿里云账号没有未支付的扩容、缩容或续费订单。如果有未支付的订单，您必须先支付或作废未支付的订单。注意事项 扩缩容期间，服务可能出现中断，请确认业务使用方已增加重试机制。扩缩容期间，不可进行其他的升配，降配，修改配置，...
条件关键字：是指云产品自身定义的条件关键字。关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。操作 访问级别 资源类型 条件关键字 关联操作 emr:ListComponents list*全部资源*无 无 请求...
ESSD云盘性能与优化 StarRocks实例支持将ESSD云盘用作存储和缓存盘。请注意，ESSD云盘具有不同的性能级别（PL），这些级别决定了其IOPS和吞吐量的上限。性能指标 下表详细列出了不同PL级别ESSD云盘的性能参数。SSD云盘属性 性能级别PL...
本文介绍EMR StarRocks服务关联角色AliyunServiceRoleForEMRStarRocks以及如何删除该角色。背景信息 EMR StarRocks服务关联角色AliyunServiceRoleForEMRStarRocks是EMR StarRocks在某些情况下，为了完成自身的某个功能，需要获取其他云服务...
条件关键字：是指云产品自身定义的条件关键字。关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。操作 访问级别 资源类型 条件关键字 关联操作 emr:ListTagResources list*全部资源*无 无 ...
重要 创建实例时请关注云盘的容量，避免生成数据集大小超过云盘容量。dataset_generate_root_path 存放生成测试数据集的路径。默认值为/mnt/disk1/starrocks-benchmark/datasets。bitmap_index 是否启用Bitmap Index功能。取值为true和...
配置Spark 在阿里云EMR的数据开发里，Spark解释器配置的是Isolated Per Note模式，也就是说每个Note都有一个独立的Spark Application（每个Note对应一个Yarn App，Zeppelin里使用的是Yarn-Cluster模式）。对于每一个Spark Application，您...
云下私有数据库 有两种方式访问云下私有数据库，一种是绑定弹性IP（EIP）访问数据库的公网地址，一种是将云下数据库通过高速通道和VPC网络互联。绑定EIP 如果云下私有数据库可以通过公网访问，则创建一个VPC网络类型的EMR集群。创建后如果...
条件关键字：是指云产品自身定义的条件关键字。关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。操作 访问级别 资源类型 条件关键字 关联操作 emr:RunApplicationAction update*全部资源*无...
修改Hive连接器的配置后，可以正常读取DLF（Data Lake Formation）的数据表。本文为您介绍如何使用Hive连接器读取DLF数据表。前提条件 已在EMR on ACK控制台上创建Presto集群，详情请参见 创建集群。操作步骤 进入catalog-hive.properties...
基于阿里云基础设施提供稳定可靠的云原生Serverless服务。与阿里云RAM账号体系兼容，提供企业级的安全和隔离能力。无缝对接EMR资源集群和各种大数据计算存储引擎，例如Hive、Spark和Flink等。提供与Apache DolphinScheduler兼容的接口和...
为了提升阿里云EMR集群的可靠性和可用性，您可以采用两种策略：一是在集群扩容时开启尽力交付，这样即使部分节点创建失败，系统也会将所有成功创建的节点加入集群，从而最大限度地保障服务运行；二是对集群中现有的或新增的节点组开启自动...
可选：如果您需要使用阿里云EMR on ECS集群的OpenLDAP服务，则需创建选择了OpenLDAP服务的集群并添加了用户，详情请参见 创建集群 和 OpenLDAP用户管理。操作流程 步骤一：网络准备 在开始配置之前，必须先设置好网络，确保Serverless ...