本章节介绍如何通过多种工具和框架提交和调度大数据任务，支持从交互式开发到自动化调度的全流程任务管理。通过DolphinScheduler提交Spark任务 通过Serverless Spark提交PySpark流任务 通过spark-submit提交任务 通过Apache Airflow提交...
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData（3.8.x）版本更新的内容。JindoSDK 特性 描述 ...
通过集中化管理配置信息，该功能简化了任务执行过程中的配置流程，确保一致性和灵活性，同时支持动态更新以满足多样化的业务需求。配置管理功能提供了两种方式来管理和应用配置：管理Spark配置模板：用于定义全局默认配置，支持创建、编辑...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
一个计算任务的CU使用量取决于该任务实际处理的数据量、计算复杂程度、处理的数据分布情况，以及是否开启 Fusion引擎 加速。开启Fusion引擎加速后，当前不会有额外的资源成本增加，但作业执行时间通常能够大幅缩短（30%以上），因此具备更...
概述 2024年12月11日，我们正式对外发布Serverless Spark新版本，包括平台管理、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 Gateway 支持Kyuubi Gateway（Beta），部署Kyuubi服务，并通过Kyuubi Thrift接口实现向Serverless ...
它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理的全生命周期工作流程。使用EMR Serverless Spark，企业可以更专注于数据分析和价值提炼，提高工作效率。EMR Serverless Spark免费公测于2024...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
本节介绍阿里云E-MapReduce Python 2.7+SDK安装流程。SDK安装 通过pip进行安装。sudo pip install aliyun-python-sdk-emr 如果需要升级E-MapReduce Python SDK。sudo pip install aliyun-python-sdk-emr-upgrade 卸载SDK。sudo pip ...
统一存储 多计算引擎兼容 支持多种数据湖格式 离线ETL（例如数据仓库）、交互式查询（例如即席分析）数据分析集群 OLAP分析引擎：StarRocks、ClickHouse、Doris。分布式协调服务：Zookeeper。亚秒级查询响应 列式存储优化 联邦查询能力 ...
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.2.x）版本的更新内容。JindoFS OSS扩展和支持 ...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
您可以通过以下方式处理：在集群的 操作历史 查看报错信息，修改后单击操作列的 重试，可再次进入创建流程。在ECS控制台手动退订集群内所有ECS实例，并在EMR控制台上释放该集群。异常终止 如果集群创建过程中遇到不可恢复的错误时，则集群...
概述 2024年09月14日，我们正式对外发布Serverless Spark新版本，包括平台升级、生态对接、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 工作空间管理 支持调整额配。支持RAM角色添加或删除工作空间。优化工作空间状态流转，支持...
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.5.x）版本的更新内容。JindoFS OSS扩展和支持 ...
登录Ranger UI，详情请参见 通过控制台访问开源组件Web界面。选择 Settings Users/Groups/Roles。在 Users 页签中，您可以查看是否有新创建的Unix用户。例如，在步骤1中创建了test用户。场景二：集群已部署OpenLDAP 如果集群中已部署...
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
为秉承普惠开发者的宗旨，并结合产品对引擎能力的持续优化，EMR Serverless Spark按量付费商品预计于2024年11月12日10:00（UTC+8）起全面降价，以将引擎能力优化所带来的红利回馈给客户。降价说明 以下为按量付费价格调整前后的对比。有关...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询引擎相似，其性能比Hive快了几个数量级，具体取决于查询和配置的类型。Impala相对于Hadoop上SQL查询，优点如下：由于在数据节点上...
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.4.x）版本的更新内容。JindoFS OSS扩展和支持 ...
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
本文介绍MSE XXL-JOB性能测试所使用的环境，主要包括MSE XXL-JOB服务...开源XXL-JOB Admin（非必选）可构建一个开源版本的XXL-JOB Admin服务端用于测试对比。基于开源自建需额外创建一个RDS实例，XXL-JOB Admin服务可部署在ACS集群或者ECS上。
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
授权流程 通常，第一次 购买产品 时，需要您进行自动化授权操作。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless Spark。在 依赖检测 页面，单击 AliyunServiceRoleForEMRServerlessSpark 角色所在行的 同意授权。在 依赖检测...
任务优先级 流程运行的优先级。支持以下级别：HIGHEST：最高。HIGH：高。MEDIUM（默认）：中。LOW：低。LOWEST：最低。失败重试次数 工作流运行失败自动重试的次数。失败重试间隔 每次失败重试的间隔。单位：分。延时执行时间 任务延迟执行...
开源配置中心通常只支持单点故障切换，如果出现故障，可能会影响到整个系统的运行。而MSE Nacos支持分布式架构，可以实现分布式故障切换。您可以将自建的开源配置中心迁移到MSE Nacos。详情可参见 配置中心迁移。应用开发 若您的项目需要接...
概述 2024年11月25日，我们正式对外发布Serverless Spark新版本，包括平台升级、生态对接、性能优化以及引擎能力。平台侧 功能分类 功能更新说明 任务编排 支持调度Notebook类型任务。任务历史 支持在开发任务页面查看Stdout和Stderr日志。...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
任务优先级 流程运行的优先级。支持以下级别：HIGHEST：最高。HIGH：高。MEDIUM（默认）：中。LOW：低。LOWEST：最低。失败重试次数 工作流运行失败自动重试的次数。失败重试间隔 每次失败重试的间隔。单位：分。延时执行时间 延时执行时间...
本文为您介绍Kyuubi支持的引擎及共享级别，并通过示例为您介绍如何启动计算引擎和向计算引擎提交任务。支持引擎 EMR集群安装Kyuubi时会依赖安装YARN和Spark3引擎。EMR Kyuubi支持Spark3 on YARN部署（暂未支持Flink、Trino以及Spark2引擎）...
使用UDF函数 引擎侧 版本号 说明 引擎 esr-5.0.0(Spark 4.0.1,Scala 2.13)引擎 esr-4.6.0(Spark 3.5.2,Scala 2.12)引擎 esr-3.5.0(Spark 3.4.4,Scala 2.12)引擎 esr-2.9.0(Spark 3.3.1,Scala 2.12)Fusion加速 支持shiftrightunsigned。...
本文介绍如何解决MSE Nacos开源控制台无法使用问题。问题现象 开源控制台上提示 caused:No AuthenticationProvider found for org.springframework.security.authentication.UsernamePasswordAuthenticationToken;开源控制台上单击登录，...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
示例 多行SQL 如下图所示，在一个段落里执行2句SQL语句（以分号间隔），第一句切换执行引擎，第二句运行Select语句。注释 以-开头的均为SQL注释。参数功能 Zeppelin支持${var=value} 形式的差数。var是变量名，value是默认值。例如，通常不...