cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
使用EMR Serverless Spark前，需要授予您的阿里云账号 AliyunServiceRoleForEMRServerlessSpark 和 AliyunEMRSparkJobRunDefaultRole 系统默认角色。本文为您介绍角色授权的基本操作。授权流程 通常，第一次 购买产品 时，需要您进行自动化...
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
登录Ranger UI，详情请参见 通过控制台访问开源组件Web界面。选择 Settings Users/Groups/Roles。在 Users 页签中，您可以查看是否有新创建的Unix用户。例如，在步骤1中创建了test用户。场景二：集群已部署OpenLDAP 如果集群中已部署...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
对于RAM用户的使用，建议您：使用阿里云账号创建一个RAM用户，并为RAM用户授予管理员权限，后续使用有管理员权限的RAM用户创建并管理其他RAM用户。将人员用户和程序用户分离。创建RAM用户时，支持设置 控制台访问 和 使用永久AccessKey访问...
通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Spark Shell类型作业。在页面左侧，在需要操作的文件夹上单击右键，选择 ...
JindoCache（原JindoFSx）是阿里云EMR提供的用于加速云原生数据湖的一个服务。他提供了数据缓存和元数据缓存等加速功能，并根据不同的CacheSet提供不同的读写策略，以满足数据湖在不同使用场景下对访问加速的需求。背景信息 CacheSet是...
支持的地域 说明 如果您有其他地域的需求，可以 提交工单 申请，阿里云EMR团队将评估是否增加新的地域。中国地区 地域名称 地域ID 华北2（北京）cn-beijing 华东1（杭州）cn-hangzhou 华东2（上海）cn-shanghai 华南1（深圳）cn-shenzhen ...
条件关键字：是指云产品自身定义的条件关键字。关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。操作 访问级别 资源类型 条件关键字 关联操作 emr-serverless-spark:StartSessionCluster*...
如果您对阿里云EMR Serverless Spark的消费情况产生疑问，可以通过费用与成本查看费用账单以及消费明细。操作步骤 登录 费用与成本 控制台。在左侧导航栏，选择。根据需要查看消费情况或导出账单。账单详细内容，可参见费用与成本的 账单...
EMR-3.52.0及其后续版本，以及EMR-5.18.0及其后续版本，...阿里云CLI 阿里云CLI（Command Line Interface）是一种命令行工具，允许用户在终端或命令行界面调用阿里云API，来创建、配置、管理阿里云云资源。更多信息，请参见 什么是阿里云CLI。
在EMR集群中，为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web界面端口均未对外开放。如果您想直接访问开源组件的Web界面，可根据实际场景选择 原生UI地址、Knox代理地址、SSH本地端口转发 或 SSH动态端口转发 方式进行访问。快速...
取值范围：cloud_efficiency：高效云盘。cloud_ssd：SSD 云盘。cloud_essd：ESSD 云盘。cloud：普通云盘。cloud_essd Size integer 单位 GB。80 PerformanceLevel string 创建 ESSD 云盘作为数据盘使用时，设置云盘的性能等级。取值范围：...
EAQ#86*SystemDiskEncrypted boolean 是否启用云盘加密。取值范围：true：启用加密。false（默认值）：不加密。false SystemDiskKMSKeyId string KMS 密钥 ID。0e478b7a-4262-4802-b8cb-00d3fb40*DataDiskEncrypted boolean 数据盘是否启用...
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
本文为您汇总了部分漏洞说明。Apache Hadoop与Hadoop ...重要 阿里云E-MapReduce的YARN服务的 yarn.scheduler.configuration.store.class 默认为file，即未开启ZKConfigurationStore。修复建议：升级Hadoop至2.10.2、3.2.4、3.3.4或更高版本。
数据湖元数据DLF是阿里云提供的统一元数据服务，具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与...
对于RAM用户的使用，建议您：使用阿里云账号创建一个RAM用户，并为RAM用户授予管理员权限，后续使用有管理员权限的RAM用户创建并管理其他RAM用户。将人员用户和程序用户分离。创建RAM用户时，支持设置 控制台访问 和 使用永久AccessKey访问...
3 storagePerformanceLevel string 云盘的性能级别。包含以下取值：pl0：单盘最高随机读写 IOPS 1 万。pl1：单盘最高随机读写 IOPS 5 万。pl2：单盘最高随机读写 IOPS 10 万。pl3：单盘最高随机读写 IOPS 100 万。pl1 ...
本文为您介绍阿里云地域的概念、选择指导以及阿里云EMR Serverless Spark支持的地域列表。背景信息 地域（Region）：指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的城市是北京。...
通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Spark Streaming类型作业。在页面左侧，在需要操作的文件夹上单击右键，...
阿里云EMR on ECS支持数据加密功能，可有效降低数据在云端的潜在安全风险。同时支持数据备份与恢复，避免数据丢失。OSS数据加密 OSS（Object Storage Service）是阿里云提供的一种高效、安全、低成本且高可靠的云存储服务。该服务采用基于...
在 云资源访问授权 页面，单击页面下方的 同意授权。系统已默认勾选AliyunEMROnACKDefaultRole角色。手动授权 如果您不小心删除了AliyunEMROnACKDefaultRole角色或者变更了授权策略导致EMR on ACK不可用，请按照以下操作步骤重新授权。创建...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
阿里云EMR Serverless Spark是基于Apache Spark引擎构建的无服务器化大数据处理服务。Spark应用在标准的Java虚拟机（JVM）上运行，所有Spark任务都是通过Java或Scala代码执行。引擎版本号及其含义 引擎版本的格式为 esr-*(Spark*,Scala*)。...
工作空间是EMR Notebook管理数据库、外部集群和笔记本的基本单元。通过工作空间，您可以创建和编辑Notebook文件，方便地上传和下载文件，与其他用户共享Notebook和数据，并灵活地管理访问权限。前提条件 已完成系统角色授权，详情请参见 ...
阿里云EMR集群提供多种作业提交方式，全面涵盖从开发调试（Master节点）到生产管控（Gateway节点）以及自动化调度（DataWorks）等各个场景，以满足不同角色的需求。本文将为您介绍三种方式的优缺点及其适用场景。提交方式说明 提交方式 优...
EMR-3.30.0 Hive 2.3.5 支持阿里云DLF（Data Lake Formation）元数据。解决了读Delta表空目录时写DUMMY文件问题。升级HAS依赖至2.0.1。EMR-3.29.0 Hive 2.3.5 Hive升级至2.3.5.6.0。支持第三方Metastore的功能。增加datalake metastore-...
概述 2025年07月31日，我们正式对外发布 Serverless Spark 新版本，涵盖了平台管理能力。平台侧 功能分类 功能更新说明 相关文档 数据目录 支持同时添加多个 DLF（之前称为DLF 2.5）数据目录，以便进行联邦查询。在添加DLF数据目录之前，请...
考虑因素说明 考虑因素 描述 相关文档 业务场景 阿里云EMR预定义了四类业务场景，分别为数据湖集群、数据分析集群、实时数据流集群和数据服务集群。此外，系统还支持自定义集群，您可以根据具体的业务选择相应的业务场景。选择业务场景 ...
阿里云EMR部分旧版的API接口将于2024年6月15日下线。下线时间 2024年6月15日 下线内容 本次下线涉及的API版本如下：2016-01-10 2015-09-10 2015-08-10 影响说明 自2024年6月15日起，所有依赖上述旧版本API的调用将无法正常执行。为避免因...
概述 2024年12月11日，我们正式对外发布Serverless Spark新版本，包括平台管理、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 Gateway 支持Kyuubi Gateway（Beta），部署Kyuubi服务，并通过Kyuubi Thrift接口实现向Serverless ...
本文介绍阿里云E-MapReduce的计费项、计费方式、计费方式转换、欠费说明、续费说明、查看消费明细、退费说明、查看账单和计费常见问题。相关项 描述 相关文档 计费项 为您介绍E-MapReduce的计费说明、计费方式概要和可能涉及到的相关产品...
通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据开发 页签。单击待编辑项目所在行的 作业编辑。新建Streaming SQL类型作业。在页面左侧，在需要操作的文件夹上单击右键，...
EMR上可以支持将数据存放在阿里云OSS中，在大数据量的情况下将数据存储在OSS上会大大降低使用的成本，EMR集群主要用来作为计算资源，在计算完成之后可以随时释放，数据在OSS上，同时也不用再考虑元数据迁移的问题。数据共享。使用统一的...
计费资源 2024年04月01日起阿里云E-MapReduce（简称EMR）on ACK正式商业化。阿里云EMR on ACK正式商业化后，将根据集群实际使用的POD资源规格和数量，计算每小时需支付的服务费，收费标准如下表所示。计费项 单价（元/小时）vCPU 0.03528 ...
通过阿里云TableStore实现对Rename的并发操作的互斥。支持通过Delta或Hudi写入数据至OSS。JindoFS缓存优化 优化在AI训练场景下小文件元数据的缓存，提升元数据预加载操作和List操作的性能。JindoTable计算优化 JindoTable集成了AliORC，...
概述 2024年09月14日，我们正式对外发布Serverless Spark新版本，包括平台升级、生态对接、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 工作空间管理 支持调整额配。支持RAM角色添加或删除工作空间。优化工作空间状态流转，支持...