前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
状态名 状态说明 待支付 只有完成支付后，系统才会开始创建实例。已支付 订单已成功支付。启动中 实例正在创建中，该状态会持续3~10分钟。运行中 实例处于正常运行状态。升级中 实例处于升级中，扩缩容、升降配、修改静态配置等都会触发...
按量付费转包年包月 欠费说明 实例欠费后有停机风险，系统会提醒或通知您。请及时续费，避免对您的服务造成影响。欠费说明 续费说明 包年包月的EMR Serverless StarRocks实例到期后会影响服务的正常运行。如果您想继续使用，可以在释放前...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
权限策略 支持的 系统策略 如下：AliyunEMRServerlessSparkFullAccess：EMR Serverless Spark管理员权限，包含创建、删除工作空间权限，具体策略详情请参见 AliyunEMRServerlessSparkFullAccess。AliyunEMRServerlessSparkDeveloperAccess...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0.x版本提供总览信息（Overview）...
对于CentOS系统，您可以通过 yum install httpd 命令安装httpd，然后使用 htpasswd 命令；对于Ubuntu，您可以通过 apt-get install apache2-utils 命令安装httpd，然后使用 htpasswd 命令。说明 这些命令和软件包的具体使用方式可能因系统...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0版本提供总览信息（Overview）、...
E-MapReduce（简称EMR）支持按量付费和包年包月 两种计费方式，您可以根据业务需要...通过设置弹性伸缩规则，系统可以根据实际情况动态调整按需资源的数量，从而实现成本优化与性能保障之间的平衡，具体方法请参见 为集群配置弹性伸缩规则。
同时，您还可以查询实例中产生的日志信息，快速定位问题并优化系统性能。本文为您介绍如何在EMR Serverless StarRocks中开通、使用和关闭日志查询功能。开通日志查询功能 重要 该功能支持查询实例运行过程中生成的日志信息。开通日志查询...
本文为您介绍如何创建事件报警规则和调试系统事件，以便在E-MapReduce发生系统异常时，您能及时接收报警通知并处理异常。前提条件 如果事件报警规则需要作用于指定应用分组的实例上，则请确保您已创建应用分组，且已将资源添加至该应用分组...
例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启实例会造成您的实例停止工作，可能导致业务中断。因此，建议您在业务低峰期进行操作。同时，请确保客户端已具备业务重试机制，以避免影响业务的正常使用...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
目前，系统支持在Notebook会话中使用运行环境。在Notebook会话启动时，系统将根据所选环境预装相关库。更多信息，请参见 管理运行环境。引擎侧 版本号 说明 esr-2.2(Spark 3.3.1,Scala 2.12)Fusion加速 支持WindowTopK算子。优化了Shuffle...
EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松实现自动化及周期性数据处理，而且还内置了先进的版本控制机制。这一机制确保了开发与生产环境的彻底隔离，确保符合企业级用户在研发和发布流程...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
使用EMR Serverless Spark前，需要授予您的阿里云账号 AliyunServiceRoleForEMRServerlessSpark 和 AliyunEMRSparkJobRunDefaultRole 系统默认角色。本文为您介绍角色授权的基本操作。授权流程 通常，第一次 购买产品 时，需要您进行自动化...
使用限制 E-MapReduce控制台仅支持数据盘扩容操作，不支持系统盘扩容。仅云盘类型（ESSD云盘、SSD云盘或高效云盘）的数据盘支持扩容，本地盘无法进行扩容。仅节点组状态为运行中时才可以进行磁盘扩容操作。Hadoop集群类型中通过弹性伸缩...
选择 超时告警 策略，当任务运行时长超过设置的超时时长后，系统将向指定的告警组发送通知。选择 超时失败 策略，当任务运行时长超过设置的超时时长后，该任务实例会立即失败。任务提交节点 仅支持 调度资源组节点，表示任务在Workflow的...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
本文为您介绍添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，以便于您可以使用DLF服务，以及授权组件免AccessKey访问OSS。...在 新增授权 页面，选择并添加系统策略 AliyunOSSFullAccess 和 AliyunDLFFullAccess。单击 确认新增授权。
选择 超时告警 策略，当任务运行时长超过设置的超时时长后，系统将向指定的告警组发送通知。选择 超时失败 策略，当任务运行时长超过设置的超时时长后，该任务实例会立即失败。添加依赖 需要判断的依赖任务，可以是某一个项目中的工作流...
选择 超时告警 策略，当任务运行时长超过设置的超时时长后，系统将向指定的告警组发送通知。选择 超时失败 策略，当任务运行时长超过设置的超时时长后，该任务实例会立即失败。任务提交节点 仅支持 调度资源组节点，表示任务在Workflow的...
开启后，系统会按照 每批间隔时间 执行任务。您可以设置 每批间隔时间，即每隔多长时间执行一次任务。重要 关闭 滚动执行 后，所有节点同时重启可能导致服务不可用，请谨慎选择。失败处理策略 单节点失败继续执行：执行任务时，如果单节点...
Hadoop DistCp和Jindo DistCp的区别 DistCp类型 功能 使用场景 Hadoop DistCp 开源Hadoop内置的DistCp工具，用于大型集群间或集群内数据的复制。HDFS到HDFS间的数据复制。Jindo DistCp JindoFS的数据迁移工具，支持OSS、OSS-HDFS服务、兼容...
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 starrocks,sr，支持的授权粒度为 操作级。权限策略通用结构 ...
在释放ECS实例时，系统将同时退还您EMR未使用部分的款项。说明 释放ECS实例时，相当于对EMR集群进行降配。每释放一个ECS实例，将生成一笔降配退款订单。当ECS实例数量降至零时，即表示对EMR集群的降配已达到0。降配时，将退还对应的EMR服务...
IP地址 1.1.1.1 被系统保留用于特殊用途，不可进行配置。请勿将其添加到自定义域名配置中，否则可能导致服务异常。注意事项 若域名IP映射发生变化（例如DNS切换），需及时同步更新hosts配置，以确保服务的可达性。在新增、修改或删除域名后...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
全托管Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。产品文档 管理Notebook会话
此外，系统还支持自定义集群，您可以根据具体的业务选择相应的业务场景。选择业务场景 地域和存储 阿里云EMR提供多种地域选项，以确保您的集群地域与数据存储位置保持一致。在存储架构方面，阿里云EMR支持存算分离与存算一体两种方案供您...
ClickHouse的监控指标分为3组，分别来自ClickHouse的三个系统表metrics、events和asynchronous_metrics。查看节点监控 查看节点监控又分为节点部署状态和查看节点详细监控指标。查看部署状态 进入集群服务页面。登录EMR on ECS控制台。在...
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。...系统会自动为SELECT语句加上'limit 2000'的限制。select*from test1;单击 保存，作业内容编辑完成。
按量付费转包年包月 欠费说明 按量付费的集群欠费后有停机风险，系统会提醒或通知您。请及时续费，避免对您的服务造成影响。欠费说明 续费说明 包年包月的阿里云E-MapReduce集群到期后会影响集群正常运行。如果您想继续使用，可以在释放前...
开启或关闭释放保护 系统默认关闭释放保护功能，您可以在创建集群时或创建集群后手动开启或关闭该功能。场景一：创建集群时开启或关闭 创建集群时，系统默认关闭集群释放保护功能，如果您需要开启，需手动操作。在 基础配置 阶段的 高级...
前提条件 已完成系统角色授权，详情请参见 EMR Notebook角色授权。账号与访问权限 账号类型 说明 阿里云账号（主账号）拥有工作空间的所有操作权限。RAM用户 未授权前：不支持创建和删除工作空间。授权后：授权RAM用户 ...
资源估算 CU对应Serverless Spark底层系统的CPU计算能力。一个计算任务的CU使用量取决于该任务实际处理的数据量、计算复杂程度、处理的数据分布情况，以及是否开启 Fusion引擎 加速。开启Fusion引擎加速后，当前不会有额外的资源成本增加，...
该服务基于统一的元数据管理能力，完全兼容HDFS文件系统接口。此外，由于数据存储在OSS中，OSS-HDFS服务完美地继承了OSS的数据保护功能。在EMR集群中内置了JindoSDK，各相关组件已完全支持OSS-HDFS，详情请参见 数据湖生态接入。客户仅需...
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...