前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0版本提供总览信息（Overview）、...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0.x版本提供总览信息（Overview）...
JindoManager系统管理 支持通过UI来查看JindoFS存储系统上的系统状态、文件统计和缓存系统上的缓存指标统计。JindoTools工具集 改进Jindo DistCp工具的分发机制，针对EMR集群内使用场景和非EMR集群环境使用场景，分别使用不同的发行包。...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
本文将详细说明在使用StarRocks实例时可能遇到的性能指标限制，并提供相应的优化方案。ESSD云盘性能与优化 StarRocks...建议定期对缓存使用情况进行评估，并结合业务访问模式进行动态调整，以确保系统在高负载下仍能保持稳定和高效的运行。
客户安全责任 客户负责正确配置和使用阿里云提供的安全能力和产品服务，以构建其云上应用和业务系统的安全。包括以下内容：基于阿里云公告及提供的补丁，及时对EMR大数据服务组件进行漏洞修复。负责数据的备份、加密，并对EMR产品中使用的...
Shuffle Read过程中存在大量小数据量的IO请求和随机读，对磁盘和CPU造成高负载。对于M*N次的连接数，在M和N数千的规模下，作业基本无法完成。NodeManager和Spark Shuffle Service是同一进程，当Shuffle的数据量特别大时，通常会导致...
FLINK任务类型用于执行Flink程序。本文为您介绍创建FLINK类型任务时涉及的参数，并提供了FLINK任务的示例。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务...
选择资源中心文件：使用该程序类型，需要在资源中选择IMPALA SQL文件。选项参数 配置和调优集群的一些参数设置。资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，...
任务实例（JobRun）在任务编排系统中，Workflow的运行通常会对应一个JobRunID，表示一个任务实例。工作流（Workflow）工作流是指由一系列相关任务组成的有序流程，每个任务之间有明确的依赖关系和执行顺序。用户（Account）用户是访问控制...
脚本 您自定义的Shell程序。资源 任务执行时所需的资源文件。如果其他参数中引用了资源文件，需要选择在 资源中心 的 文件管理 页面，创建或者上传的文件。自定义参数 任务自定义参数，会替换脚本中${变量} 的内容。更多参数配置信息，请...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
本文描述EMR Workbench支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
AliyunEMRManagedCostRolePolicy ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本）AliyunEmrEcsDefaultRole 集群实例上运行的应用程序进程在调用其他阿里云服务时将使用该角色。在创建集群时既可以使用该服务角色，也可以使用自定义...
本文为您介绍E-MapReduce（简称EMR）中Kafka集群操作系统环境变量和配置项。操作系统环境变量 EMR Kafka集群的ECS实例操作系统用户为kafka，用户组为group，您可以登录ECS实例执行各类操作。EMR Kafka预置了以下Shell终端环境变量。变量名 ...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
DataX任务类型，用于执行DataX程序。本文为您介绍创建DataX类型任务时涉及的参数。参数说明 参数 说明 节点名称 任务的名称。一个工作流定义中的节点名称是唯一的。运行标志 正常（默认）：运行工作流时执行该任务。禁止执行：运行工作流...
常见问题 Q：系统返回“Malformed database URL,failed to parse the main URL sections”报错应该如何处理？A：该报错通常是由于 jdbc_uri 中传入的URI有误而引起的。请检查并确保传入的URI准确无误。参见本文 PROPERTIES 相关的参数...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
选择 超时告警 策略，当任务运行时长超过设置的超时时长后，系统将向指定的告警组发送通知。选择 超时失败 策略，当任务运行时长超过设置的超时时长后，该任务实例会立即失败。任务提交节点 调度资源组节点：任务在Workflow的调度资源组...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
程序类型 重要 如果选择程序类型为 PYTHON，则所选执行集群的所有worker节点都必须安装依赖环境。如果您需要在只有部分worker节点安装了依赖环境的集群中执行PySpark任务，详情请参见 常见问题。支持 JAVA、SCALA、PYTHON、SQL 和 CUSTOM_...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
E-MapReduce支持在集群成功创建后...相关文档 如果您需要访问服务的Web UI，详情请参见 通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见 查看服务和组件健康状态。如果有服务相关的问题，详情请参见 集群管理常见问题。
参数 说明 内网地址 网关的内网访问地址，供同一VPC内的应用程序或服务使用。查看PrivateZone：可以查看解析记录。开通SLB：在开通SLB之后，将采用SLB（简约型 I slb.s1.small）进行负载均衡。重要 开启SLB会产生相应的费用，详情请参见 ...