基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
Bigboot 服务提供了E-MapReduce平台上的基础的分布式数据管理交互服务以及一些组件管理监控和支持性服务，SmartData服务基于Bigboot之上对应用层提供了JindoFS文件系统。配置集群 SmartData提供的JindoFS文件系统使用OSS作为存储后端，因此...
在EMR Serverless Spark页面，单击左侧导航栏中的 文件管理。在 文件管理 页面，单击 上传文件。在 上传文件 对话框中，单击待上传文件区域选择Python文件，或直接拖拽Python文件到待上传文件区域。本文示例是上传DataFrame.py。上传数据...
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配...
配置管理 配置文件管理 支持保存配置信息和配置文件，启动Spark任务时能够自动将配置文件加载至工作目录。配置管理 生态 支持在Kyuubi、Livy Gateway中启用LDAP认证，增强安全性。支持在Kyuubi Gateway中启用Ranger鉴权，进行细粒度权限...
该标准采用符合最佳实务的个人资讯管理系统，帮助组织在尊重资讯隐私权的前提下，能充分保障个人资讯的合理运用。CSA STAR CSA STAR认证由英国标准协会（BSI）与国际云安全权威组织云安全联盟（CSA）联合推出，阿里云获得了CSA STAR云安全...
该标准采用符合最佳实务的个人资讯管理系统，帮助组织在尊重资讯隐私权的前提下，能充分保障个人资讯的合理运用。CSA STAR CSA STAR认证由英国标准协会（BSI）与国际云安全权威组织云安全联盟（CSA）联合推出，阿里云获得了CSA STAR云安全...
该标准采用符合最佳实务的个人资讯管理系统，帮助组织在尊重资讯隐私权的前提下，能充分保障个人资讯的合理运用。CSA STAR CSA STAR认证由英国标准协会（BSI）与国际云安全权威组织云安全联盟（CSA）联合推出，阿里云获得了CSA STAR云安全...
该标准采用符合最佳实务的个人资讯管理系统，帮助组织在尊重资讯隐私权的前提下，能充分保障个人资讯的合理运用。CSA STAR CSA STAR认证由英国标准协会（BSI）与国际云安全权威组织云安全联盟（CSA）联合推出，阿里云获得了CSA STAR云安全...
JindoManager系统管理 支持通过UI来查看JindoFS存储系统上的系统状态、文件统计和缓存系统上的缓存指标统计。JindoTools工具集 改进Jindo DistCp工具的分发机制，针对EMR集群内使用场景和非EMR集群环境使用场景，分别使用不同的发行包。...
目前StarRocks支持以下存储系统和元数据服务：分布式文件系统（HDFS）或阿里云对象存储OSS。元数据服务。当前支持的元数据服务包括Hive Metastore（以下简称HMS）、数据湖构建（DLF）。使用说明 StarRocks查询Delta Lake数据时，支持...
组件类型 组件名称 组件说明 常用文档 开源 YARN YARN是Hadoop的资源管理系统，负责集群资源的调度和管理，支持不同类型的分布式计算任务在共享的集群资源上高效运行。YARN资源配置 YARN调度器 常见问题 数据存储 数据存储层的组件支持结构...
全托管 Spark 支持 Spark Thrift Server 服务 适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持 Spark Thrift Server 服务，允许以 JDBC 协议连接并提交任务。产品文档 管理Spark Thrift Server
EMR on ECS 创建集群后，支持对节点组的安全组信息进行修改。适用客户 全网用户 新增功能/规格 EMR on ECS 创建集群后，支持对节点组的安全组信息进行修改。产品文档 管理安全组
EMR on ECS 集群新增Task跨可用区节点组。适用客户 全网用户 新增功能/规格 EMR on ECS 集群新增Task跨可用区节点组。产品文档 管理节点组
Serverless Spark提供域名管理功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark提供域名管理功能，解决云环境中的DNS解析问题，确保任务能够正确、高效地访问外部服务或资源。产品文档 管理域名
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以...产品文档 管理工作空间
Serverless Spark正式支持Kyuubi Gateway。适用客户 全网用户 新增功能/规格 EMR Serverless Spark正式支持Kyuubi Gateway，通过 Kyuubi 可以使用 beeline、thrift driver 等方式向 Serverless Spark 提交 SQL 任务。产品文档 管理Gateway
当您在调度过程中需要使用第三方的JAR或者需要自定义脚本时，可以在文件管理页面进行相关操作。本文为您介绍如何创建文件和上传文件。使用限制 每个账号在每个地域的资源中心，允许的文件上传总量上限为5 GB。创建文件 进入资源中心页面。...
Notebook默认安装matplotlib、numpy和pandas，支持根据业务需要创建运行环境 适用客户 全网用户 新增功能/规格 Notebook当前已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库，可以创建运行环境。...产品文档 管理运行环境
StarRocks支持多维度健康报告，提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景。该健康报告提供了前一天（T+1）的...产品文档 管理健康报告
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。...产品文档 管理健康检查项
会话是指EMR Serverless Spark工作空间中可用的Spark Session。会话资源类型 在Serverless Spark中，支持以下会话类型：SQL会话：用于SQL开发和查询。...相关文档 管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话
EMR Workflow 工作流支持提交至集群模板执行 适用客户 全网用户 新增功能/规格 支持将Workflow工作流提交至集群模板执行，工作流运行时会根据模板创建集群，工作流结束后释放集群，帮助用户降低集群使用成本。产品文档 管理集群或模板
EMR Serverless StarRocks提供的健康报告，并通过示例阐明其潜在的应用场景。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 健康报告中增加缓存分析报告，可以按照表维度、SQL维度分析缓存现状和问题，...产品文档 管理健康报告
EMR on ECS 优化查看健康检查项历史功能。适用客户 全网用户 新增功能/规格 EMR on ECS 优化查看健康检查项历史功能，历史的异常检查项提供“检查结果说明”字段，展示异常原因，方便用户回顾问题发生经过，查看...产品文档 管理健康检查项
内容管理系统 WordPress：广泛使用的开源博客和内容管理系统，常用于快速搭建网站和博客。应用栈/组合环境 LAMP：Linux、Apache、MySQL、PHP的组合环境，主要用于部署动态网站。LNMP：Linux、Nginx、MySQL、PHP的组合环境，类似于LAMP，但...
StarRocks 支持在存算分离场景下为不同业务场景分配独立的网关，确保FE服务的稳定性。适用客户 全网用户 新增功能/规格 Serverless StarRocks支持在存算分离场景下为不同业务场景分配独立的网关，从而确保FE服务的隔离性...产品文档 管理网关
支持创建Master-Extend节点组，自定义部署。适用客户 全网用户 新增功能/规格 集群节点提供Master-Extend类型节点组，支持在该节点组上自定义部署Spark/Hive/Kyuubi服务的组件，并能将配置自动同步。...产品文档 管理节点组
集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机 适用客户 全网用户 新增功能/规格 集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机...产品文档 管理节点组
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片管理中，所以您不仅要删除OSS文件管理中的作业残留文件，还需将OSS碎片管理中的文件碎片清理一次，否则会产生数据存储...
Spark处理JindoFS上的数据，主要有两种方式，一种是直接调用文件系统接口使用；一种是通过SparkSQL读取存在JindoFS的数据表。JindoFS配置 以EMR-3.35版本为例，创建名为 emr-jfs 的命名空间，相关配置参数示例如下：jfs.namespaces=emr-jfs...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...