不要在RAM访问控制台上删除或修改EMR服务角色的系统策略。AliyunEMRDefaultRole 该角色允许E-MapReduce服务在配置资源和执行服务级别操作时调用其他阿里云服务。所有集群都需要该角色，且不能更改。该角色详情请参见 EMR服务角色。该角色...
阿里云EMR Serverless Spark SDK支持Java、TypeScript、Go、PHP、Python、C#、C++、Swift语言...使用EMR Serverless Spark SDK 阿里云SDK使用指南、请求结构等，请参见 通过IDE使用阿里云Java SDK。如何获取AccessKey，请参见 创建AccessKey。
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
在账单详情页签中，设置 账单月份，并在列表中筛选产品为 开源大数据平台 E-MapReduce，然后基于您的实际需求选择产品明细。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细内容，可参见费用与成本的 账单管理。相关文档 ...
60 PerformanceLevel string 创建 ESSD 云盘作为系统盘使用时，设置云盘的性能等级。取值范围：PL0：单盘最高随机读写 IOPS 1 万。PL1（默认）：单盘最高随机读写 IOPS 5 万。PL2：单盘最高随机读写 IOPS 10 万。PL3：单盘最高随机读写 ...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 E-MapReduce 版本号 说明 2021-03-20 推荐使用。EMR Workbench 版本号 说明 2024-04-30 推荐使用...
复杂事件处理（CEP）语句 窗口函数 概述 滚动窗口 滑动窗口 会话窗口 OVER窗口 内置函数 支持的函数 标量函数 表值函数 聚合函数 自定义函数 Java 概述 自定义标量函数（UDSF）自定义聚合函数（UDAF）自定义表值函数（UDTF）Python 概述 ...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
选择 超时告警 策略，当任务运行时长超过设置的超时时长后，系统将向指定的告警组发送通知。选择 超时失败 策略，当任务运行时长超过设置的超时时长后，该任务实例会立即失败。任务提交节点 调度资源组节点：任务在Workflow的调度资源组...
JindoSDK Java使用JindoSDK时，JindoSDK日志输出到Java日志中，以提高可诊断性。新增SDK端使用内存统计日志，可以看到当前JindoSDK使用的内存大小。JindoTable计算优化 JindoTable新增native加速功能，可以对使用Spark、Hive或Presto读取...
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
加密系统盘后，系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 系统...
支持文件格式：txt、log、sh、bat、conf、cfg、py、java、sql、xml、hql、properties、json、yml、yaml、ini、js。输入 文件内容。单击 保存。上传文件 说明 上传文件大小不能超过500 MB。重新上传已存在的文件，会自动覆盖原有文件。在 ...
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
本章节介绍如何通过多种方式读写不同的数据存储系统，支持结构化、半结构化和非结构化数据的高效存储与访问。涵盖主流大数据存储引擎的集成，满足多样化的业务需求。读写Doris 读写StarRocks 读写MaxCompute 读写HBase 读写MongoDB 读写...
引擎类型 连接方式 参考文档 宽表引擎 通过Lindorm宽表SQL连接宽表引擎 基于Java JDBC接口的应用开发 基于Python DB-API的应用开发 通过Lindorm-cli连接并使用宽表引擎 通过HBase API连接宽表引擎 基于HBase Java API的应用开发 基于HBase...
示例TrinoSqlConnection.java内容如下。package com.alibaba.emr;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util....
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
常见问题 Q：系统返回“Malformed database URL,failed to parse the main URL sections”报错应该如何处理？A：该报错通常是由于 jdbc_uri 中传入的URI有误而引起的。请检查并确保传入的URI准确无误。参见本文 PROPERTIES 相关的参数...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
调度系统：提供Apache Airflow Operators，以及兼容Apache Airflow livy_operator。提供DolphinScheduler Operators。元数据管理：支持外部Hive Metastore作为元数据服务。接口调用：提供Spark Thrift Server服务以支持JDBC接口调用。提供...
您无需提前购买大量资源，系统会根据您工作空间实际的资源使用量进行结算。费用按照每小时整点进行一次计算（以UTC+8时间为准），计算完成后将进入新的计费周期。适用于业务用量经常变化的场景。包年包月 包年包月是一种先付费后使用的计费...
java.io.IOException:Xceiver count 4097 exceeds the limit of concurrent xcievers:4096 at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:150)在客户端运行日志中发现如下报错。DataXceiver ...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
为了提升阿里云EMR集群的可靠性和可用性，您可以采用两种策略：一是在集群扩容时开启尽力交付，这样即使部分节点创建失败，系统也会将所有成功创建的节点加入集群，从而最大限度地保障服务运行；二是对集群中现有的或新增的节点组开启自动...
登录Ranger UI，详情请参见 通过控制台访问开源组件Web界面。选择 Settings Users/Groups/Roles。在 Users 页签中，您可以查看是否有新创建的Unix用户。例如，在步骤1中创建了test用户。场景二：集群已部署OpenLDAP 如果集群中已部署...
YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配...
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。NameNode服务地址 版本 访问地址 说明 hadoop 3.x http://${namenode_hostname}:9870${...
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
Due to java.io.IOException:Cannot lock data/checkpoints/xxx.The directory is already locked.解决方法：强制退出后，重启时需要清理相关目录下的 in_use.lock 文件，否则会出现异常。因此请尽量避免 kill-9 操作。问题2 问题现象：...
解决方法：通过修改/etc/security/limits.conf 系统配置文件的方式，修改 ulimit open files 的限制，将该配置文件末尾的“*soft nofile”和“*hard nofile”的值改成需要的大小并重启问题节点服务。如何评估一个Kafka topic所需的分区数？...
删除Hive Database时提示“java.lang.IllegalArgumentException:java.net.UnknownHostException: *”如何登录内置的MySQL？报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？问题分析：由于删除...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...