在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
退款时，系统会根据您包年包月资源的选购情况进行结算。具体操作，请参见 退订方式说明。按量付费 按量付费是根据实际使用情况实时产生账单，因此不涉及退款。如果您不再需要使用按量付费实例，可以直接在EMR Serverless StarRocks控制台...
本文为您介绍E-MapReduce（简称EMR）中Kafka集群操作系统环境变量和配置项。操作系统环境变量 EMR Kafka集群的ECS实例操作系统用户为kafka，用户组为group，您可以登录ECS实例执行各类操作。EMR Kafka预置了以下Shell终端环境变量。变量名 ...
适用客户 全网用户 新增功能/规格 托管弹性伸缩功能开启后，系统将持续监控集群YARN的负载，您只需要填写集群最大最小Task节点数，集群将自动按负载调整Task节点的数量，实现资源利用最大化。产品文档 添加托管弹性伸缩规则
fs.oss.impl EMR-3.24.0及后续版本：com.aliyun.emr.fs.oss.JindoOssFileSystem EMR-3.24.0之前版本：com.aliyun.fs.oss.nat.NativeOssFileSystem OSS文件系统实现类。io.compression.codec.snappy.native false 标识Snappy文件是否为标准...
选择 超时告警 策略，当任务运行时长超过设置的超时时长后，系统将向指定的告警组发送通知。选择 超时失败 策略，当任务运行时长超过设置的超时时长后，该任务实例会立即失败。任务提交节点 仅支持 调度资源组节点，表示任务在Workflow的...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
如果结合上游系统的At-Least-Once语义，则可以实现导入数据的Exactly-Once语义。同步及异步导入 导入方式分为同步和异步。对于同步导入方式，返回结果即表示导入成功还是失败。而对于异步导入方式，返回成功仅代表作业提交成功，不代表数据...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
状态名 状态说明 待支付 只有完成支付后，系统才会开始创建实例。已支付 订单已成功支付。启动中 实例正在创建中，该状态会持续3~10分钟。运行中 实例处于正常运行状态。升级中 实例处于升级中，扩缩容、升降配、修改静态配置等都会触发...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
按量付费转包年包月 欠费说明 实例欠费后有停机风险，系统会提醒或通知您。请及时续费，避免对您的服务造成影响。欠费说明 续费说明 包年包月的EMR Serverless StarRocks实例到期后会影响服务的正常运行。如果您想继续使用，可以在释放前...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
权限策略 支持的 系统策略 如下：AliyunEMRServerlessSparkFullAccess：EMR Serverless Spark管理员权限，包含创建、删除工作空间权限，具体策略详情请参见 AliyunEMRServerlessSparkFullAccess。AliyunEMRServerlessSparkDeveloperAccess...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0.x版本提供总览信息（Overview）...
对于CentOS系统，您可以通过 yum install httpd 命令安装httpd，然后使用 htpasswd 命令；对于Ubuntu，您可以通过 apt-get install apache2-utils 命令安装httpd，然后使用 htpasswd 命令。说明 这些命令和软件包的具体使用方式可能因系统...
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。当健康检查发现异常时，对应节点或者组件...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0版本提供总览信息（Overview）、...
E-MapReduce（简称EMR）支持按量付费和包年包月 两种计费方式，您可以根据业务需要...通过设置弹性伸缩规则，系统可以根据实际情况动态调整按需资源的数量，从而实现成本优化与性能保障之间的平衡，具体方法请参见 为集群配置弹性伸缩规则。
同时，您还可以查询实例中产生的日志信息，快速定位问题并优化系统性能。本文为您介绍如何在EMR Serverless StarRocks中开通、使用和关闭日志查询功能。开通日志查询功能 重要 该功能支持查询实例运行过程中生成的日志信息。开通日志查询...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
本文为您介绍如何创建事件报警规则和调试系统事件，以便在E-MapReduce发生系统异常时，您能及时接收报警通知并处理异常。前提条件 如果事件报警规则需要作用于指定应用分组的实例上，则请确保您已创建应用分组，且已将资源添加至该应用分组...
例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启实例会造成您的实例停止工作，可能导致业务中断。因此，建议您在业务低峰期进行操作。同时，请确保客户端已具备业务重试机制，以避免影响业务的正常使用...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...