JindoFS提供了Web UI服务，您可以快速查看集群当前的状态。例如，当前的运行模式、命名空间、集群StorageService信息和启动状态等。前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS ...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...
阿里云EMR Serverless Spark SDK支持Java、TypeScript、Go、PHP、Python、C#、C++、Swift语言SDK开发，封装了2023-08-08版本API，以访问密钥（AccessKey）识别调用者身份，提供自动签名等功能。安装EMR Serverless Spark SDK 各语言SDK的...
全托管 Spark 支持 Spark Thrift Server 服务 适用客户 全网用户 新增功能/规格 EMR Serverless Spark 支持 Spark Thrift Server 服务，允许以 JDBC 协议连接并提交任务。产品文档 管理Spark Thrift Server
生态对接 批/流任务支持对接外部Ranger服务。通过Kyuubi Gateway，以兼容开源Kyuubi的方式提交SQL任务。数据目录 支持使用RAM用户（子账号）身份访问DLF。支持访问DLF 2.0 Hive Catalog。资源观测 支持观测工作空间、队列的资源消耗情况。...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
2023年6月1日起，E-MapReduce Serverless StarRocks服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
缺陷等级说明 P0：建议立即进行升级，一旦触发，将影响线上使用情况，包括查询的准确性及写入的成功率等操作。P1：推荐升级，提前规避相关问题。P2：选择性升级，偶尔会出现问题，此类问题通常可以通过适当的改写方法或重启操作来修复。...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...
内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
全组件灵活组合（Spark/Flink/HBase等）支持混合负载（实时+离线+分析）说明 混合负载场景下离线业务、实时业务可能互相影响，推荐选购多种类型集群组合方案 离线ETL、实时ETL、复杂聚合分析、高并发查询服务 说明 阿里云EMR的不同版本支持...
日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 本文操作仅适用于数据湖（DataLake）、实时数据流（DataFlow）...
EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...
本文为您介绍如何访问HDFS Web界面，包括获取NameNode服务地址、浏览NameNode UI首页，并提供有关启动NameNode UI的相关说明。访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见 通过SSH隧道方式访问开源...
产品优势如下：云原生极速计算引擎 内置Fusion Engine(Spark Native Engine)，相对开源版本性能提升300%。内置Celeborn（Remote Shuffle Service），支持PB级Shuffle数据，计算资源总成本最高下降30%。开放化的数据湖架构 支持计算存储分离...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过其灵活地创建和管理实例以及数据。本文为您介绍StarRocks的核心特性，并详述EMR Serverless StarRocks在此基础之上所引入的诸多...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
访问控制（RAM）是阿里云提供的管理用户身份与资源访问权限的服务。使用 RAM 可以让您避免与其他用户共享阿里云账号密钥，并可按需为用户授予最小权限。RAM 中使用权限策略描述授权的具体内容。本文为您介绍 开源大数据平台 E-MapReduce 为...
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
Flume最终会将数据落地到实时计算平台（例如Flink、Spark Streaming和Storm）、离线计算平台上（例如MR、Hive和Presto），也可仅落地到数据存储系统中（例如HDFS、OSS、Kafka和Elasticsearch），为后续分析数据和清洗数据做准备。...
弹性伸缩是E-MapReduce提供的能够根据业务需求和策略自动调整计算能力（即节点数量）的功能。您可以为节点组设置托管弹性伸缩或自定义弹性伸缩规则，在业务需求增长时，弹性伸缩自动为节点组增加节点，来保证计算能力；...
前提条件 已创建数据湖（DataLake）或自定义场景（Custom）类型的集群，且选择了YARN服务。创建集群详情，请参见 创建集群。操作步骤 方式一：查看YARN资源利用率环比 进入弹性伸缩页面。登录 EMR on ECS。在顶部菜单栏处，根据实际情况...
典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景，包括GMV、订单、物流、客户分析、推荐系统、用户画像场景。支持离线导入和实时导入两种方式来处理数据。原有解决方案：通过多种OLAP引擎满足不同的场景。...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
集群类型 Data Science：主要面向大数据+AI场景，提供Hive和Spark离线大数据ETL和TensorFlow模型训练，您可以选择CPU+GPU的异构计算框架，通过英伟达GPU对部分深度学习算法进行高性能计算。产品版本 默认最新的软件版本。组件版本 展示集群...
Fusion引擎是EMR Serverless Spark内置的高性能向量化SQL执行引擎，相比开源Spark在TPC-DS基准测试上有3倍性能提升。Fusion引擎与开源Spark完全兼容，您无需对现有代码做任何修改。在EMR Serverless Spark中，只需在创建会话时开启 使用...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
Kafka广泛用于日志收集、监控数据聚合等场景，支持离线或流式数据处理、实时数据分析等。本文主要介绍Kafka数据导入到JindoFS的几种方式。常见Kafka数据导入方式 通过Flume导入 推荐使用Flume方式导入到JindoFS，利用Flume对HDFS的支持，...
Delta Lake是一个开源存储框架，旨在数据湖之上构建LakeHouse架构。Delta Lake提供了ACID事务支持、可扩展的元数据处理功能，并能够在现有的数据湖（如OSS、Amazon S3和HDFS）上整合流处理与批处理。此外，Delta Lake还支持多种引擎，如...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
Spark：是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark集群...
E-MapReduce支持在集群成功创建后...相关文档 如果您需要访问服务的Web UI，详情请参见 通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见 查看服务和组件健康状态。如果有服务相关的问题，详情请参见 集群管理常见问题。