全托管 Spark 支持 Spark Thrift Server 服务 适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持 Spark Thrift Server 服务，允许以 JDBC 协议连接并提交任务。产品文档 管理Spark Thrift Server
EMR on ECS 创建集群后，支持对节点组的安全组信息进行修改。适用客户 全网用户 新增功能/规格 EMR on ECS 创建集群后，支持对节点组的安全组信息进行修改。产品文档 管理安全组
EMR on ECS 集群新增Task跨可用区节点组。适用客户 全网用户 新增功能/规格 EMR on ECS 集群新增Task跨可用区节点组。产品文档 管理节点组
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以...产品文档 管理工作空间
当您在调度过程中需要使用第三方的JAR或者需要自定义脚本时，可以在文件管理页面进行相关操作。本文为您介绍如何创建文件和上传文件。使用限制 每个账号在每个地域的资源中心，允许的文件上传总量上限为5 GB。创建文件 进入资源中心页面。...
Serverless Spark提供域名管理功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark提供域名管理功能，解决云环境中的DNS解析问题，确保任务能够正确、高效地访问外部服务或资源。产品文档 管理域名
全托管Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。产品文档 管理Notebook会话
Serverless Spark正式支持Kyuubi Gateway。适用客户 全网用户 新增功能/规格 EMR Serverless Spark正式支持Kyuubi Gateway，通过 Kyuubi 可以使用 beeline、thrift driver 等方式向 Serverless Spark 提交 SQL 任务。产品文档 管理Gateway
Notebook默认安装matplotlib、numpy和pandas，支持根据业务需要创建运行环境 适用客户 全网用户 新增功能/规格 Notebook当前已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库，可以创建运行环境。...产品文档 管理运行环境
StarRocks支持多维度健康报告，提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景。该健康报告提供了前一天（T+1）的...产品文档 管理健康报告
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。...产品文档 管理健康检查项
会话是指EMR Serverless Spark工作空间中可用的Spark Session。会话资源类型 在Serverless Spark中，支持以下会话类型：SQL会话：用于SQL开发和查询。...相关文档 管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话
EMR Workflow 工作流支持提交至集群模板执行 适用客户 全网用户 新增功能/规格 支持将Workflow工作流提交至集群模板执行，工作流运行时会根据模板创建集群，工作流结束后释放集群，帮助用户降低集群使用成本。产品文档 管理集群或模板
EMR Serverless StarRocks提供的健康报告，并通过示例阐明其潜在的应用场景。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 健康报告中增加缓存分析报告，可以按照表维度、SQL维度分析缓存现状和问题，...产品文档 管理健康报告
EMR on ECS 优化查看健康检查项历史功能。适用客户 全网用户 新增功能/规格 EMR on ECS 优化查看健康检查项历史功能，历史的异常检查项提供“检查结果说明”字段，展示异常原因，方便用户回顾问题发生经过，查看...产品文档 管理健康检查项
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的...产品文档 管理尽力交付
StarRocks 支持在存算分离场景下为不同业务场景分配独立的网关，确保FE服务的稳定性。适用客户 全网用户 新增功能/规格 Serverless StarRocks支持在存算分离场景下为不同业务场景分配独立的网关，从而确保FE服务的隔离性...产品文档 管理网关
支持创建Master-Extend节点组，自定义部署。适用客户 全网用户 新增功能/规格 集群节点提供Master-Extend类型节点组，支持在该节点组上自定义部署Spark/Hive/Kyuubi服务的组件，并能将配置自动同步。...产品文档 管理节点组
集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机 适用客户 全网用户 新增功能/规格 集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机...产品文档 管理节点组
在 EMR Serverless Spark 页面，单击左侧导航栏中的 文件管理。在 托管文件目录 页面，单击 上传文件。在 上传文件 对话框中，单击待上传文件区域选择本地文件，或者直接拖拽目标文件到待上传文件区域。管理文件及文件夹 在 托管文件目录 ...
在EMR Serverless Spark页面，单击左侧导航栏中的 文件管理。在 文件管理 页面，单击 上传文件。在 上传文件 对话框中，单击待上传文件区域选择Python文件，或直接拖拽Python文件到待上传文件区域。本文示例是上传DataFrame.py。上传数据...
此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片管理中，所以您不仅要删除OSS文件管理中的作业残留文件，还需将OSS碎片管理中的文件碎片清理一次，否则会产生数据存储...
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话 文件管理 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。管理Notebook会话 管理文件 任务编排 支持设置工作流、节点级别的自定义变量，可简化代码的维护和...
其他 文件管理支持创建文件夹。Spark配置输入框支持添加注释。spark_submit命令支持在提交后展示Spark Driver。引擎侧 版本号 说明 esr-3.0.0(Spark 3.4.3,Scala 2.12)Fusion加速 支持Parquet读取复杂数据类型。支持Parquet写表（esr-3.0.0...
文件管理：无法上传新的文件，但现有文件资源不受影响。说明 阿里云提供延期免停权益，即当按量付费的资源发生欠费后，提供一定额度或时长继续使用云服务的权益，延停期间正常计费。具体使用说明和规则，请参见 延期免停权益。您可以为账号...
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
如果其他参数中引用了资源文件，需要选择在 资源中心 的 文件管理 页面，创建或者上传的文件。自定义参数 任务自定义参数，会替换脚本中${变量} 的内容。更多参数配置信息，请参见 参数说明。在 手动任务定义 页面，单击目标任务操作列的 ...
如果需要使用该功能，请先在 文件管理 的 纳管文件目录 页签新增文件目录，详情请参见 纳管文件目录。开启后，系统会将纳管文件目录挂载到会话资源中，从而允许在Notebook会话中直接读取和写入该目录下的文件。挂载操作会占用一定的计算...
如果没有可选的资源，请在 文件管理 页面上传。支持的文件类型：.zip、.tar、.whl、.tar.gz、.jar、.txt。说明 其中文件类型为.txt 时，将按照requirements.txt方式根据txt文件中的内容，安装指定的Python库及版本。OSS资源 在 OSS资源 中...
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理 页面，创建或者上传了相应的文件。选择所需文件后，您可以在任务脚本中通过完整路径引用它们。例如，path/to/test.txt。自定义参数 任务自定义参数，会替换脚本中${...
选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离、SOFA-RPC 等能力。适合寻求开源解决方案。开源版参考文档。商业版本 除了开源版能力，还对接服务注册中心，支持消息、分布...
Serverless Spark 支持补数功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持补数功能。工作流以及工作流节点使用的时间变量会根据补数选择的业务时间自动替换为对应的值。产品文档 变量管理
Serverless Spark SQL开发和批任务支持自定义变量管理，可简化代码的维护和调整。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 使用变量可以有效降低重复编写相同值的工作量，从而提升配置管理的效率。...产品文档 变量管理
Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板。适用客户 全网用户 新增功能/规格 EMR Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板，按照配置模板生效配置信息。产品文档 配置管理
配置管理 配置文件管理 支持保存配置信息和配置文件，启动Spark任务时能够自动将配置文件加载至工作目录。配置管理 生态 支持在Kyuubi、Livy Gateway中启用LDAP认证，增强安全性。支持在Kyuubi Gateway中启用Ranger鉴权，进行细粒度权限...
基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...
JindoFS块存储模式对文件数据管理提供了高级策略，以满足不同情形下的存储需求，主要包括存储策略（Storage Policy）和压缩策略（Compression Policy）。本文详细介绍相关策略及其使用方式。使用限制 存储策略和压缩策略都是针对目录设置的...