操作步骤 步骤一：开发JAR包 在EMR Serverless Spark中，不直接提供集成的JAR包开发环境，因此需要您在本地或独立的开发平台上完成Spark应用的编码和打包成JAR文件。本快速入门为了带您快速熟悉JAR任务，为您提供了工程文件以及测试JAR包，...
操作步骤 步骤一：准备测试文件 在EMR Serverless Spark中，不直接提供Python的开发环境，因此需要您在本地或独立的开发平台上完成Python文件的开发。本快速入门为了带您快速熟悉PySpark任务，为您提供了测试文件，您可以直接下载待后续...
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
下载模板及目录结构的介绍请进入 开源引擎导出 页面进行查询：登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>更多>迁移助手。在...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态。如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>更多>迁移助手。在左侧导航栏，单击 任务上云>调度引擎作业导入...
E-MapReduce（简称EMR）数据开发（旧版）已于2022年2月21日21点停止更新，进入维护状态，详情请参见 EMR数据开发停止更新公告。2023年9月30日0点起，EMR数据开发（旧版）功能将停止全面支持，不再支持用户答疑、问题解决、SLA保障赔付等...
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据开发模块停止更新的情况，以及迁移至DataWorks的流程。您也可以将数据开发模块迁移至EMR Worflow，迁移详情请参见 EMR旧版数据开发迁移公告。EMR ...
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
本文介绍了E-MapReduce的SDK和API相关的内容，供您进行对应的开发操作。EMR on ECS API概览 SDK概述
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
本文为您介绍SQL任务开发的配置项说明和操作步骤。前提条件 已创建工作空间和Compute，详情请参见 创建工作空间 和 管理Compute。创建SQL任务 进入任务开发页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>Spark。在 ...
本文介绍E-MapReduce开发的准备工作。准备工作如下：请确认您已经开通了阿里云服务，并创建了AccessKey ID和AccessKey Secret。请确认您已开通OSS。您已经对Spark、Hadoop、Hive和Pig具备一定的认识。文中不对Spark、Hadoop、Hive和Pig开发...
本文为您介绍Application任务开发的配置项说明和操作步骤。前提条件 已创建工作空间，详情请参见 管理工作空间。操作步骤 进入任务开发页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>Spark。在 Spark 页面，单击目标...
本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下...
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
Zeppelin自带了TPCH和TPCDS的教程Note，您无需任何配置就可以在E-MapReduce（简称EMR）数据开发集群进行TPCH和TPCDS的性能测试。背景信息 EMR数据开发集群中的TPCH支持Hive、Spark、Flink和Presto四个引擎，TPCH详细信息，请参见 TPC-H。...
本文介绍如何在E-MapReduce集群中开发Pig作业流程。在Pig中使用OSS 在Pig中使用OSS路径时，请使用类似如下的形式。oss:/${AccessKeyId}:${AccessKeySecret}@${bucket}.${endpoint}/${path} 参数说明：${accessKeyId}：您账号的AccessKey ID...
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
调用DeleteFlowProject接口，删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
调用ModifyFlowProject接口，修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
调用CreateFlowProject接口，创建数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
本文为您介绍如何使用Spark SQL开发一个流式处理作业。说明：EMR-3.23.0（含）后续版本已不建议使用这个模板，但仍然会支持。查询语句块 类似 streaming.query.name 等作业参数无法通过SQL表达，因此需要在SQL查询语句前使用SET进行必要的...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
调用ModifyFlowJob，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
本文介绍如何使用HBase数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName USING hbase OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);Table Schema 创建HBase表时，无需显式地定义表的字段信息，示例...
本文为您介绍自定义函数的开发和使用流程。背景信息 UDF分类如下表。UDF分类 描述 UDF（User Defined Scalar Function）自定义标量函数，通常称为UDF。其输入与输出是一对一的关系，即读入一行数据，写出一条输出值。UDTF（User Defined ...
本文介绍如何使用Redis数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName[(columnName dataType[,columnName dataType]*)]USING redis OPTIONS(propertyKey=propertyValue[,propertyKey=propertyValue]*);Table Schema 创建...