Notebook默认安装matplotlib、numpy和pandas，支持根据业务需要创建运行环境 适用客户 全网用户 新增功能/规格 Notebook当前已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库，可以创建运行环境。当前支持在Notebook会话...
StarRocks支持多维度健康报告，提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景。该健康报告提供了前一天（T+1）的数据，并包括SQL查询、...
EMR on ECS 集群新增Task跨可用区节点组。适用客户 全网用户 新增功能/规格 EMR on ECS 集群新增Task跨可用区节点组。产品文档 管理节点组
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 starrocks,sr，支持的授权粒度为 操作级。权限策略通用结构 ...
丰富YARN、HDFS、Hive、Kafka和Zookeeper健康检查 适用客户 全网用户 新增功能/规格 丰富YARN、HDFS、Hive、Kafka和Zookeeper的健康检查项，以提升组件健康状态的准确度。产品文档 查看服务和组件健康状态
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
EMR Serverless StarRocks 存算分离 3.3版本正式发布。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 存算分离 3.3版本正式发布，支持社区3.3版本及多计算组功能。产品文档 内核发布记录
本文介绍EMR Serverless StarRocks产品中涉及的一些基本名词概念，使您能够更好地理解EMR Serverless StarRocks。地域（Region）购买EMR Serverless StarRocks的服务器所处地理位置。您需要在购买EMR Serverless StarRocks实例时指定Region...
阿里云EMR Serverless Spark SDK支持Java、TypeScript、Go、PHP、Python、C#、C++、Swift语言SDK开发，封装了2023-08-08版本API，以访问密钥（AccessKey）识别调用者身份，提供自动签名等功能。安装EMR Serverless Spark SDK 各语言SDK的...
适用客户 全网用户 新增功能/规格 EMR Serverless Spark 使用变量可以有效降低重复编写相同值的工作量，从而提升配置管理的效率。通过变量的复用，可以在SQL开发、批任务开发及工作流等场景中简化代码的维护和调整，进而提高开发效率。产品...
Serverless Spark 支持补数功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持补数功能。工作流以及工作流节点使用的时间变量会根据补数选择的业务时间自动替换为对应的值。产品文档 变量管理
通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。运行环境 Spark Submit工具支持通过配置参数-...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
2024年1月10日起EMR Workflow正式商业化发布 适用客户 全网用户 新增功能/规格 2024年1月10日起EMR Workflow正式发布。EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准 阿里云EMR on ACK正式商业化后，将根据集群...
Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板。适用客户 全网用户 新增功能/规格 EMR Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板，按照配置模板生效配置信息。产品文档 配置管理
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
2023年6月1日起，E-MapReduce Serverless StarRocks服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
在进行集群规划时，业务场景、地域和存储、元数据服务、硬件与网络以及计费方式等五个方面是主要考虑因素。本文将详细介绍如何根据这五大因素来配置您的集群。考虑因素说明 考虑因素 描述 相关文档 业务场景 阿里云EMR预定义了四类业务场景...
EMR on ECS 支持创建托管弹性伸缩策略。适用客户 全网用户 新增功能/规格 EMR on ECS 在控制台页面创建集群时，支持配置弹性伸缩规则，集群创建后弹性伸缩规则即可启动 产品文档 硬件配置
本文为您介绍EMR控制台指标监控中SNAPSHOT指标的详细信息。SNAPSHOT指标包含以下部分：SNAPSHOT-HOST SNAPSHOT-YARN SNAPSHOT-HOST snapshotKey 描述 快照采集频率 TOP_CPU_KEY 主机CPU使用最高的TOP 20。5分钟 TOP_MEM_KEY 主机内存使用...
Serverless StarRocks支持弹性伸缩功能 适用客户 全网用户 新增功能/规格 Serverless StarRocks 弹性伸缩功能允许您自定义伸缩规则，从而自动的调整节点数量，高效地适应业务变化。例如，您可以为计算组配置基于时间的弹性伸缩规则，即可在...
Serverless Spark支持连接外部Hive Metastore 适用客户 全网用户 新增功能/规格 Serverless Spark支持连接外部Hive Metastore服务，您可以便捷地访问存储在Hive Metastore中的数据。产品文档 EMR Serverless Spark连接外部Hive Metastore
您可以提前在ECS购买资源预定，在创建按量付费节点组，关联指定私有池，保障弹性...适用客户 全网用户 新增功能/规格 您可以提前在ECS购买资源预定，在创建按量付费节点组，关联指定私有池，保障弹性资源供应稳定性。产品文档 升级节点配置
阿里云EMR集群提供多种作业提交方式，全面涵盖从开发调试（Master节点）到生产管控（Gateway节点）以及自动化调度（DataWorks）等各个场景，以满足不同角色的需求。本文将为您介绍三种方式的优缺点及其适用场景。提交方式说明 提交方式 优...
全托管Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。产品文档 管理Notebook会话
适用客户 全网用户 新增功能/规格 EMR on ECS 在创建集群时，或在创建后集群的弹性伸缩页面，支持配置托管弹性伸缩模式，只需指定集群Task节点的最大最小数量，系统将根据业务负载动态调整集群。产品文档 创建托管弹性伸缩策略
本文为您介绍 开源大数据平台 E-MapReduce 为 RAM 权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce 的 RAM 代码（RamCode）为 emr-serverless-spark，支持的授权粒度为 操作级。权限策略...
Serverless Spark正式支持Kyuubi Gateway。适用客户 全网用户 新增功能/规格 EMR Serverless Spark正式支持Kyuubi Gateway，通过 Kyuubi 可以使用 beeline、thrift driver 等方式向 Serverless Spark 提交 SQL 任务。产品文档 管理Gateway
适用客户 全网用户 新增功能/规格 Serverless StarRocks支持在存算分离场景下为不同业务场景分配独立的网关，从而确保FE服务的隔离性与稳定性。在实例负载较高时，可以通过特定网关将关键业务查询路由至独立的FE节点，以保障服务的性能与...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
全托管 StarRocks 存算一体版本支持云盘加密 适用客户 全网用户 新增功能/规格 全托管 StarRocks 存算一体版本支持云盘加密功能。产品文档 创建实例
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
适用客户 全网用户 新增功能/规格 Serverless StarRocks支持日志查询功能，您可以将StarRocks的前端节点（FE）和后端节点（BE）的原始日志输出到日志服务中，便于集中管理和分析。同时，您还可以查询实例中产生的日志信息，快速定位问题并...
适用客户 全网用户 新增功能/规格 EMR Serverless Starrocks 3.1.0版本开始支持存算一体和存算分离两种模式，默认为存算一体模式。在存储计算分离架构，免 AK 集成访问 OSS 对象存储，弹性可扩展的计算能力，支持高性能的热数据本地 Cache ...
产品优势如下：云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升300%。内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...