该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
操作流程 初次使用阿里云视觉智能开放平台时，您可以根据以下流程快速上手视觉智能开放平台。步骤1：成为开发者 步骤2：能力调试 步骤3：能力开通 步骤4：创建AccessKey 步骤5：启动开发 步骤1：成为开发者 注册阿里云账号。打开 阿里云...
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本概述。适配开源组件，避免开源组件之间的版本兼容性问题。基于开源组件，优化...
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
专有网络VPC 专有网络VPC可以为开源大数据平台E-MapReduce提供隔离、稳定、安全、快速交付、自主可控的网络环境。您可以自定义这个专有网络的拓扑和IP地址，适用于对网络安全性要求较高的用户。弹性公网IP 弹性公网IP位于阿里云的公网网关...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
任务模板适用于有固定执行参数和资源需求的批处理任务，而SQL Compute模板适合SQL任务的开发和快速迭代。本文档将指导您如何有效地使用这两种模板来简化任务的提交与管理。前提条件 已创建工作空间，详情请参见 管理工作空间。模板概述 ...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
通义千问的开源模型均可在ModelScope上直接获取，灵积平台为这些开源模型的对齐版本提供了可直接使用的API服务，包括qwen-1.8b-chat，qwen-7b-chat，qwen-14b-chat和qwen-72b-chat几个版本。开发者可以通过以下链接，了解如何通过大模型...
百川开源大语言模型来自百川智能，百炼上提供了百川1(7B)以及百川2(7B和13B)的服务化API。开发者可以通过以下链接，了解如何通过大模型服务平台调用百川开源大语言模型。快速开始 API详情
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它...快速入门 EMR Notebook 快速使用EMR Notebook EMR Workflow 手动任务快速入门 工作流快速入门 相关文档 什么是EMR Notebook 什么是EMR Workflow
操作步骤 步骤一：准备测试文件 在EMR Serverless Spark中，不直接提供Python的开发环境，因此需要您在本地或独立的开发平台上完成Python文件的开发。本快速入门为了带您快速熟悉PySpark任务，为您提供了测试文件，您可以直接下载待后续...
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
本文为您介绍SQL任务开发的配置项说明和操作步骤。前提条件 已创建工作空间和Compute，详情请参见 创建工作空间 和 管理Compute。创建SQL任务 进入任务开发页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>Spark。在 ...
配置工作空间成员，以便RAM用户能够快速使用该工作空间。通过用户管理功能，您可以对用户进行账号和角色权限控制，这样可以确保只有授权的用户能够管理该工作空间。前提条件 已创建RAM用户并为其授予了相应的权限，详情请参见 创建RAM用户 ...
阿里云EMR Serverless Spark SDK支持Java、TypeScript、Go、PHP、Python、C#、C++、Swift语言SDK开发，封装了...使用EMR Serverless Spark SDK 阿里云SDK使用指南、请求结构等，请参见 快速开始。如何获取AccessKey，请参见 创建AccessKey。
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
介绍EMR Workflow公测说明。公测时间说明 EMR Workflow公测已于2023年6月29日开启，预计于...公测操作流程 公测面向所有用户开放，您可以参见以下文档快速了解并使用EMR Workflow。什么是EMR Workflow EMR Workflow角色授权 工作流快速入门
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
集群模板是为快速创建集群而保存的配置。本文为您介绍如何创建集群模板。背景信息 集群模板主要用于数据开发工作流自动创建临时集群。在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立...
介绍EMR Serverless StarRocks公测说明。...公测操作流程 公测面向所有用户开放 入门版 实例，您可以参见以下文档快速使用EMR Serverless StarRocks实例。快速使用EMR Serverless StarRocks 快速使用EMR StarRocks Manager
介绍EMR Serverless Spark的免费公测说明。免费公测时间说明 EMR Serverless Spark...公测操作流程 公测面向所有用户开放，您可以参见以下文档快速了解并使用EMR Serverless Spark。什么是EMR Serverless Spark 创建工作空间 SQL任务快速入门
本文为您介绍EMR Notebook公测说明。公测时间说明 EMR Notebook将于2024年03月29日逐步...公测操作流程 公测面向所有用户开放，您可以参见以下文档快速了解并使用EMR Notebook。什么是EMR Notebook EMR Notebook角色授权 快速使用EMR Notebook
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
概念 说明 工作空间（Workspace）工作空间是EMR Serverless Spark为业务开发划分的基本单元，是任务、资源和权限的集合。每个工作空间的任务、计算资源以及权限都是隔离的。资源队列（Resouce Queue）EMR Serverless Spark采用CU（Compute ...