EMR on ECS 集群新增Task跨可用区节点组。适用客户 全网用户 新增功能/规格 EMR on ECS 集群新增Task跨可用区节点组。产品文档 管理节点组
Serverless Spark提供域名管理功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark提供域名管理功能，解决云环境中的DNS解析问题，确保任务能够正确、高效地访问外部服务或资源。产品文档 管理域名
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以...产品文档 管理工作空间
Serverless Spark正式支持Kyuubi Gateway。适用客户 全网用户 新增功能/规格 EMR Serverless Spark正式支持Kyuubi Gateway，通过 Kyuubi 可以使用 beeline、thrift driver 等方式向 Serverless Spark 提交 SQL 任务。产品文档 管理Gateway
Notebook默认安装matplotlib、numpy和pandas，支持根据业务需要创建运行环境 适用客户 全网用户 新增功能/规格 Notebook当前已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库，可以创建运行环境。...产品文档 管理运行环境
当您在调度过程中需要使用第三方的JAR或者需要自定义脚本时，可以在文件管理页面进行相关操作。本文为您介绍如何创建文件和上传文件。使用限制 每个账号在每个地域的资源中心，允许的文件上传总量上限为5 GB。创建文件 进入资源中心页面。...
StarRocks支持多维度健康报告，提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景。该健康报告提供了前一天（T+1）的...产品文档 管理健康报告
由于无人管理，“僵尸”资产往往使用了低版本的开源系统、组件、Web框架等，导致一些薄弱环节暴露在攻击者的视野下，攻击者可以利用这些站点作为“跳板”，绕过企业的网络边界防护，进而使得整个企业内网沦陷。WAF资产识别功能通过获取阿里...
EMR Workflow 工作流支持提交至集群模板执行 适用客户 全网用户 新增功能/规格 支持将Workflow工作流提交至集群模板执行，工作流运行时会根据模板创建集群，工作流结束后释放集群，帮助用户降低集群使用成本。产品文档 管理集群或模板
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。...产品文档 管理健康检查项
EMR Serverless StarRocks提供的健康报告，并通过示例阐明其潜在的应用场景。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 健康报告中增加缓存分析报告，可以按照表维度、SQL维度分析缓存现状和问题，...产品文档 管理健康报告
EMR on ECS 优化查看健康检查项历史功能。适用客户 全网用户 新增功能/规格 EMR on ECS 优化查看健康检查项历史功能，历史的异常检查项提供“检查结果说明”字段，展示异常原因，方便用户回顾问题发生经过，查看...产品文档 管理健康检查项
会话是指EMR Serverless Spark工作空间中可用的Spark Session。会话资源类型 在Serverless Spark中，支持以下会话类型：SQL会话：用于SQL开发和查询。...相关文档 管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话
支持创建Master-Extend节点组，自定义部署。适用客户 全网用户 新增功能/规格 集群节点提供Master-Extend类型节点组，支持在该节点组上自定义部署Spark/Hive/Kyuubi服务的组件，并能将配置自动同步。...产品文档 管理节点组
StarRocks 支持在存算分离场景下为不同业务场景分配独立的网关，确保FE服务的稳定性。适用客户 全网用户 新增功能/规格 Serverless StarRocks支持在存算分离场景下为不同业务场景分配独立的网关，从而确保FE服务的隔离性...产品文档 管理网关
集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机 适用客户 全网用户 新增功能/规格 集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机...产品文档 管理节点组
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
查询Web核心防护的系统规则 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
Hive：使用LDAP认证 Spark：管理LDAP认证 Impala：管理LDAP认证 Trino：管理LDAP认证 Presto：管理LDAP认证 Kafka：使用LDAP用户鉴权 如果某个服务没有提供一键开启LDAP认证的功能，则需要参考开源软件的社区文档来配置开启LDAP认证。...
组件类型 组件名称 组件说明 常用文档 开源 YARN YARN是Hadoop的资源管理系统，负责集群资源的调度和管理，支持不同类型的分布式计算任务在共享的集群资源上高效运行。YARN资源配置 YARN调度器 常见问题 数据存储 数据存储层的组件支持结构...
网站接入Web应用防火墙后，您可以通过设置Bot管理白名单，让满足条件的请求忽略指定模块（爬虫威胁情报、数据风控、智能算法、App防护）的检测。Bot管理白名单可以放行因触发Bot管理相关规则被误拦截的业务请求。前提条件 已开通Web应用...
监控接口完善：提供友好的Web UI，可视化的呈现查询任务执行过程。支持JMX协议。系统组成 Presto的系统组成如下图所示。Presto是典型的M/S架构的系统，由一个Coordinator节点和多个Worker节点组成。Coordinator负责如下工作：接收用户查询...
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
此方式和使用HDFS的方式是一致的，区别在于，E-MapReduce会用到Multipart方式上传大文件，会上传文件碎片到OSS的碎片管理中，所以您不仅要删除OSS文件管理中的作业残留文件，还需将OSS碎片管理中的文件碎片清理一次，否则会产生数据存储...
Livy Gateway和Kyuubi Gateway提供了便捷的接口，您可以通过这两种类型的Gateway向Serverless Spark提交任务。Gateway 类型 Livy是一个提供REST接口的服务，用于简化与Spark的交互。...相关文档 管理Livy Gateway 管理Kyuubi Gateway
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中...相关文档 如果您对安全性要求较高或者在特定的网络环境下，您可以选择通过SSH方式访问Web界面，详情请参见 SSH隧道访问开源组件Web界面。服务使用问题，详情请参见 常见问题。
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
您可以通过两种类型的Gateway向Serverless Spark提交任务。适用客户 全网用户 新增功能/规格 Livy Gateway和Kyuubi Gateway提供了便捷的接口，您可以通过这两种类型的Gateway向Serverless Spark提交...产品文档 管理Kyuubi Gateway（Beta）
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。...相关文档 如果您需要通过控制台的方式访问Web UI，详情请参见 通过控制台访问开源组件Web界面。服务使用问题，详情请参见 常见问题。
Druid segments（Druid索引文件）管理层涉及以下组件：Zookeeper：负责存储集群的状态以及作为服务发现组件。例如集群的拓扑信息、overlord leader的选举、indexing task的管理等。Coordinator：负责segments的管理。例如segments下载、...
RAM用户需具备管理 系统运维管理 资源的权限。具体操作，请参见 使用RAM进行访问控制。用户身份 支持情况 阿里云账号 支持 RAM 用户（推荐）支持 RAM角色（推荐）支持 更多信息 身份、凭据与授权 流量控制与配额管理 集成方式 说明 SDK是最...
基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...
JindoCache存储加速系统不仅提供了对多种数据源的缓存加速功能，还能将不同数据源统一管理，并将它们置于同一个命名空间下，从而实现统一访问。前提条件 已完成JindoCache的配置，详情请参见 JindoCache加速OSS透明缓存 或 JindoCache加速...
SmartData的2.6.0-2.7.2版本，包含多个重大...支持权限 Block模式支持Unix权限和Ranger权限两种文件系统权限功能：Unix权限：可以使用文件的777权限。Ranger权限：可以使用Ranger路径通配符等高级配置。权限功能详细请参见 JindoFS权限功能。
其他 文件管理支持创建文件夹。Spark配置输入框支持添加注释。spark_submit命令支持在提交后展示Spark Driver。引擎侧 版本号 说明 esr-3.0.0(Spark 3.4.3,Scala 2.12)Fusion加速 支持Parquet读取复杂数据类型。支持Parquet写表（esr-3.0.0...
特性 描述 支持访问Amazon S3文件系统 JindoFS客户端支持了Amazon S3文件系统，可以用来访问Amazon S3上的数据。支持OSS PrefixLink特性 JindoFS客户端支持了OSS PrefixLink特性，通过提升Rename性能，能够有效加速Hive作业，特别对于Hive ...
本文为您介绍如何提交Flink作业。前提条件 已在E-MapReduce on ACK控制台创建Flink集群，详情请参见 快速入门。方式一：通过ACK控制台提交作业 登录 EMR on ACK控制台。在EMR on ACK页面，...相关文档 查看Flink作业日志和访问Flink Web UI
本文介绍Hadoop代码中的参数。Hadoop代码中可使用如下参数配置。属性名 默认值 说明 fs.jfs.cache.oss-...io.compression.codec.snappy.native false 标识Snappy文件是否为标准Snappy文件。Hadoop默认识别的是Hadoop修改过的Snappy格式文件。