EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 TrinoMaster 操作列的 enableLDAP。在弹出...
丰富的生态：倚天云服务器支持主流开源软件以及多款阿里云主流PaaS产品。最新网络架构：基于2*50 GB网络架构提供大带宽以及超强转发能力，对比上一代CIPU架构，网络带宽提升1倍。安全增强：支持vTPM特性，依托TPM/TCM芯片，实现从服务器到...
背景信息 E-MapReduce上的Hadoop集群和Kafka集群都是基于纯开源软件，相关编程使用方法可参见官方相应文档。Spark官方文档：streaming-kafka-integration 和 structured-streaming-kafka-integration。E-MapReduce-demo：github地址。访问...
全托管 Spark 支持 Spark Thrift Server 服务 适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持 Spark Thrift Server 服务，允许以 JDBC 协议连接并提交任务。产品文档 管理Spark Thrift Server
EMR on ECS 创建集群后，支持对节点组的安全组信息进行修改。适用客户 全网用户 新增功能/规格 EMR on ECS 创建集群后，支持对节点组的安全组信息进行修改。产品文档 管理安全组
EMR on ECS 集群新增Task跨可用区节点组。适用客户 全网用户 新增功能/规格 EMR on ECS 集群新增Task跨可用区节点组。产品文档 管理节点组
Serverless Spark提供域名管理功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark提供域名管理功能，解决云环境中的DNS解析问题，确保任务能够正确、高效地访问外部服务或资源。产品文档 管理域名
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流，分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以...产品文档 管理工作空间
Serverless Spark正式支持Kyuubi Gateway。适用客户 全网用户 新增功能/规格 EMR Serverless Spark正式支持Kyuubi Gateway，通过 Kyuubi 可以使用 beeline、thrift driver 等方式向 Serverless Spark 提交 SQL 任务。产品文档 管理Gateway
Notebook默认安装matplotlib、numpy和pandas，支持根据业务需要创建运行环境 适用客户 全网用户 新增功能/规格 Notebook当前已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库，可以创建运行环境。...产品文档 管理运行环境
全托管Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持将OSS Bucket作为文件系统，以目录方式挂载到Notebook会话资源。产品文档 管理Notebook会话
StarRocks支持多维度健康报告，提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景。该健康报告提供了前一天（T+1）的...产品文档 管理健康报告
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查，及时对异常或风险点进行处理。...产品文档 管理健康检查项
会话是指EMR Serverless Spark工作空间中可用的Spark Session。会话资源类型 在Serverless Spark中，支持以下会话类型：SQL会话：用于SQL开发和查询。...相关文档 管理SQL会话 管理Notebook会话 管理Spark Thrift Server会话
EMR Workflow 工作流支持提交至集群模板执行 适用客户 全网用户 新增功能/规格 支持将Workflow工作流提交至集群模板执行，工作流运行时会根据模板创建集群，工作流结束后释放集群，帮助用户降低集群使用成本。产品文档 管理集群或模板
EMR Serverless StarRocks提供的健康报告，并通过示例阐明其潜在的应用场景。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 健康报告中增加缓存分析报告，可以按照表维度、SQL维度分析缓存现状和问题，...产品文档 管理健康报告
EMR on ECS 优化查看健康检查项历史功能。适用客户 全网用户 新增功能/规格 EMR on ECS 优化查看健康检查项历史功能，历史的异常检查项提供“检查结果说明”字段，展示异常原因，方便用户回顾问题发生经过，查看...产品文档 管理健康检查项
在进行按量付费节点组的扩容时，系统将尽最大努力交付所有创建成功的节点。适用客户 全网用户 新增功能/规格 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的...产品文档 管理尽力交付
StarRocks 支持在存算分离场景下为不同业务场景分配独立的网关，确保FE服务的稳定性。适用客户 全网用户 新增功能/规格 Serverless StarRocks支持在存算分离场景下为不同业务场景分配独立的网关，从而确保FE服务的隔离性...产品文档 管理网关
支持创建Master-Extend节点组，自定义部署。适用客户 全网用户 新增功能/规格 集群节点提供Master-Extend类型节点组，支持在该节点组上自定义部署Spark/Hive/Kyuubi服务的组件，并能将配置自动同步。...产品文档 管理节点组
集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机 适用客户 全网用户 新增功能/规格 集群节点提供Gateway类型节点，用于缓解主节点的负载和作为任务提交机。这种节点可以帮助用户一键创建任务提交机...产品文档 管理节点组
选型指南 各个版本的能力和适用场景信息见下表：版本 能力 场景 文档 开源版本 具有模块化开发、类隔离、日志隔离、SOFA-RPC 等能力。适合寻求开源解决方案。开源版参考文档。商业版本 除了开源版能力，还对接服务注册中心，支持消息、分布...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。...开源文档请参见 OpenLDAP。
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
开发环境/框架 qt-creator 8.0.2 开源组件 开发环境/框架 vscode 1.68.0 开源组件 数据库 阿里云PolarDB数据库管理软件 v2.0 阿里云计算有限公司 数据库 达梦数据库管理系统 V7 武汉达梦数据库有限公司 数据库 南大通用安全数据库管理系统 ...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
Helm是Kubernetes服务编排领域的开源子项目，是Kubernetes应用的一个包管理工具，Helm通过软件打包的形式，支持发布的版本管理和控制，简化了Kubernetes应用部署和管理的复杂性。概述 应用市场的软件应用包括应用目录，应用目录中的软件是...
Serverless Spark 支持补数功能。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持补数功能。工作流以及工作流节点使用的时间变量会根据补数选择的业务时间自动替换为对应的值。产品文档 变量管理
Serverless Spark SQL开发和批任务支持自定义变量管理，可简化代码的维护和调整。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 使用变量可以有效降低重复编写相同值的工作量，从而提升配置管理的效率。...产品文档 变量管理
Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板。适用客户 全网用户 新增功能/规格 EMR Serverless Spark支持创建多个配置模板，提交任务时可以指定配置模板，按照配置模板生效配置信息。产品文档 配置管理
商业版特性相关文档 功能模块 文档 网格管理 启用Multi-Buffer实现TLS加速 ASM网关 为域名添加证书 为ASM网关启用压缩 增强ASM网关高可用性 流量管理 为入口网关配置本地限流 使用ASM路由级熔断功能 使用优雅下线功能避免流量损失 使用ASM...
Livy Gateway和Kyuubi Gateway提供了便捷的接口，您可以通过这两种类型的Gateway向Serverless Spark提交任务。Gateway 类型 Livy是一个提供REST接口的服务，用于简化与Spark的交互。...相关文档 管理Livy Gateway 管理Kyuubi Gateway
云消息队列 RabbitMQ 版 支持开源RabbitMQ身份验证和权限管理方式来实现对 云消息队列 RabbitMQ 版 资源的管理。使用限制 仅支持新购的Serverless系列独享实例，存量实例不支持。禁止默认账户guest的创建和权限管理。不支持User Tags 的...
您可以通过两种类型的Gateway向Serverless Spark提交任务。适用客户 全网用户 新增功能/规格 Livy Gateway和Kyuubi Gateway提供了便捷的接口，您可以通过这两种类型的Gateway向Serverless Spark提交...产品文档 管理Kyuubi Gateway（Beta）
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 更多操作 操作 描述 文档 元数据管理 通过 数据地图概述 模块，对源端表数据进行元数据管理与查看。管理数据 消费数据 ...
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问E-MapReduce。...对于RAM用户的使用，...RAM角色相关操作 RAM角色管理 扮演RAM角色 设置RAM角色最大会话时间 角色SSO管理 身份管理相关文档 阿里云身份与权限 RAM基本概念 RAM相关使用限制
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问EMR on ECS集群。...RAM角色相关操作 RAM角色管理 扮演RAM角色 设置RAM角色最大会话时间 角色SSO管理 身份管理相关文档 阿里云身份与权限 RAM基本概念 RAM相关使用限制
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问EMR Serverless StarRocks。...RAM角色相关操作 RAM角色管理 扮演RAM角色 设置RAM角色最大会话时间 角色SSO管理 身份管理相关文档 阿里云身份与权限 RAM基本概念 RAM相关使用限制
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...