适用客户 全网用户 新增功能/规格 集群管理新增报警管理功能,基于云监控服务,支持用户在EMR控制台创建和查看集群报警规则。如果资源的监控指标达到报警条件,云监控自动发送报警通知,帮助您及时得知异群的异常情况,并快速处理。产品...
EMR Serverless Spark 资源抵扣包上线,价格更优惠。适用客户 全网用户 新增功能/规格 EMR Serverless Spark 新增按量付费下的计算资源抵扣包,价格更优惠。首次购买3000CU*小时规格的抵扣包,可享受5折优惠。产品文档 资源抵扣包
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件,主要功能包括负责在集群中的资源管理,负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度,为运行在YARN上的各种类型作业分配...
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是,Master节点必须具备公网IP地址,并且只允许对Catalogd和...
EMR Serverless Spark 开启公测,公测期间可免费使用 适用客户 全网用户 新增功能/规格 EMR Serverless Spark是一款云原生,专为大规模数据处理和分析而设计的全托管Serverless产品。它为企业提供了一站式的数据平台服务,包括任务开发、...
EMR Workflow 新增工作空间管理 适用客户 全网用户 新增功能/规格 工作空间是EMR Workflow管理项目、工作流,分配角色和权限的基本单元。您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以添加成员至工作空间,并...
按量节点组支持配置升级,及时应对节点组由于业务原因负载过高 适用客户 全网用户 新增功能/规格 按量节点组支持配置升级,及时应对节点组由于业务原因负载过高,当节点组内ECS实例的规格(vCPU和内存)无法满足您的业务需求时,您可以使用...
EMR on ECS 可以通过手动执行脚本功能批量选择节点来运行指定脚本,以...适用客户 全网用户 新增功能/规格 EMR on ECS 支持手动脚本按脚本状态、脚本名称、脚本ID进行搜索筛选,手动执行脚本新增执行范围和超时时间。产品文档 手动执行脚本
Serverless Spark支持通过Notebook进行交互式开发 适用客户 全网用户 新增功能/规格 Notebook 为您提供了一个交互式的工作环境,支持 PySpark、Markdown 的开发,您可以编写代码、运行查询、可视化数据并即时查看结果。Notebook 促进了数据...
适用客户 全网用户 新增功能/规格 Spark Thrift Server 支持开启 Ldap 认证,以及 Ranger 鉴权。Livy Gateway 支持查看 livy session列表以及 spark-ui Gateway 支持内网域名。产品文档 为Spark Thrift Server配置并启用LDAP认证
E-MapReduce会自动根据健康检查项对集群的节点和服务进行健康检查 适用客户 全网用户 新增功能/规格 E-MapReduce自动根据健康检查项对集群的节点和服务进行健康检查,及时对异常或风险点进行处理。当健康检查发现异常时,对应节点或者组件...
在云监控的事件监控模块中,您可以订阅E-MapReduce数据开发相关的系统事件,监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
退款时,系统会根据您包年包月资源的选购情况进行结算。具体操作,请参见 退订方式说明。按量付费 按量付费是根据实际使用情况实时产生账单,因此不涉及退款。如果您不再需要使用按量付费实例,可以直接在EMR Serverless StarRocks控制台...
FE(Frontend)FE是StarRocks的前端节点,负责管理元数据,管理客户端连接,进行查询规划,查询调度等工作。每个FE节点都会在内存保留一份完整的元数据,这样每个FE节点都能够提供无差别的服务。BE(Backend)BE是StarRocks的后端节点,...
Notebook默认安装matplotlib、numpy和pandas,支持根据业务需要创建运行环境 适用客户 全网用户 新增功能/规格 Notebook当前已默认安装matplotlib、numpy和pandas。如果您需要使用其他第三方库,可以创建运行环境。当前支持在Notebook会话...
StarRocks支持多维度健康报告,提醒运维管理效率 适用客户 全网用户 新增功能/规格 本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容,并通过示例阐明其潜在的应用场景。该健康报告提供了前一天(T+1)的数据,并包括SQL查询、...
fs.oss.impl EMR-3.24.0及后续版本:com.aliyun.emr.fs.oss.JindoOssFileSystem EMR-3.24.0之前版本:com.aliyun.fs.oss.nat.NativeOssFileSystem OSS文件系统实现类。io.compression.codec.snappy.native false 标识Snappy文件是否为标准...
选择 超时告警 策略,当任务运行时长超过设置的超时时长后,系统将向指定的告警组发送通知。选择 超时失败 策略,当任务运行时长超过设置的超时时长后,该任务实例会立即失败。任务提交节点 仅支持 调度资源组节点,表示任务在Workflow的...
EMR on ECS 集群新增Task跨可用区节点组。适用客户 全网用户 新增功能/规格 EMR on ECS 集群新增Task跨可用区节点组。产品文档 管理节点组
丰富YARN、HDFS、Hive、Kafka和Zookeeper健康检查 适用客户 全网用户 新增功能/规格 丰富YARN、HDFS、Hive、Kafka和Zookeeper的健康检查项,以提升组件健康状态的准确度。产品文档 查看服务和组件健康状态
EMR Serverless StarRocks 存算分离 3.3版本正式发布。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 存算分离 3.3版本正式发布,支持社区3.3版本及多计算组功能。产品文档 内核发布记录
通过Livy,您可以利用Airflow中的livy_operator以及spark_magic等开源项目,向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口,支持通过SQL查询或BI工具(如Tableau、Power BI)直接连接Serverless ...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能,结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
如果结合上游系统的At-Least-Once语义,则可以实现导入数据的Exactly-Once语义。同步及异步导入 导入方式分为同步和异步。对于同步导入方式,返回结果即表示导入成功还是失败。而对于异步导入方式,返回成功仅代表作业提交成功,不代表数据...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI,详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后,您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息(Overview)、Namespace信息、存储节点信息...
状态名 状态说明 待支付 只有完成支付后,系统才会开始创建实例。已支付 订单已成功支付。启动中 实例正在创建中,该状态会持续3~10分钟。运行中 实例处于正常运行状态。升级中 实例处于升级中,扩缩容、升降配、修改静态配置等都会触发...
按量付费转包年包月 欠费说明 实例欠费后有停机风险,系统会提醒或通知您。请及时续费,避免对您的服务造成影响。欠费说明 续费说明 包年包月的EMR Serverless StarRocks实例到期后会影响服务的正常运行。如果您想继续使用,可以在释放前...