本章节提供基础工具的操作指南，帮助用户高效完成数据存储、管理和运维相关任务。在Notebook中使用Hadoop命令操作OSS/OSS-HDFS
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
工具 简介 命令行工具ossutil 2.0（预览版）ossutil是OSS的新版命令行管理工具，方便您高效使用OSS。更多信息，请参见 命令行工具ossutil 2.0（预览版）。阿里云CLI 阿里云CLI（Command Line Interface）是一种命令行工具，允许用户在终端...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
本文为您介绍如何连接...执行以下命令，使用命令行工具 zkCli.sh 连接ZooKeeper。zkCli.sh-server master-1-1:2181 连接成功后，即可输入 help 显示所有命令。相关文档 关于ZooKeeper的更多介绍，请参见 ZooKeeper Getting Started Guide。
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
Spark Thrift Server会话：Spark Thrift Server是Apache Spark提供的一种服务，支持通过JDBC或ODBC连接并执行SQL查询，从而便捷地将Spark环境与现有的商业智能（BI）工具、数据可视化工具及其他数据分析工具集成。相关文档 管理SQL会话 ...
即席查询 数仓场景：增量数据实时统计 数仓场景：分钟级准实时分析 EMR Serverless Spark 通过Serverless Spark提交PySpark流任务 通过spark-submit命令行工具提交Spark任务 通过Apache Airflow使用Livy Operator提交任务 通过Apache ...
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本 参考文档 3.3系列 SQL参考 函数参考 3.2系列 SQL参考 函数参考 2.5系列 SQL参考 函数参考
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
在账单详情页签中，设置 账单月份，并在列表中筛选产品为 开源大数据平台 E-MapReduce，然后基于您的实际需求选择产品明细。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细内容，可参见费用与成本的 账单管理。相关文档 ...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
本章节介绍如何通过多种工具和框架提交和调度大数据任务，支持从交互式开发到自动化调度的全流程任务管理。通过DolphinScheduler提交Spark任务 通过Serverless Spark提交PySpark流任务 通过spark-submit提交任务 通过Apache Airflow提交...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
机器学习 Spark的MLlib提供了较丰富的机器学习库，包括分类、回归、协同过滤、聚合，同时提供了模型选择、自动调参和交叉验证等工具来提高生产力。MLlib主要支持非深度学习的算法模块，详情请参见 Machine Learning Library(MLlib)Guide。...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
登录Ranger UI，详情请参见 通过控制台访问开源组件Web界面。选择 Settings Users/Groups/Roles。在 Users 页签中，您可以查看是否有新创建的Unix用户。例如，在步骤1中创建了test用户。场景二：集群已部署OpenLDAP 如果集群中已部署...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文为您介绍SmartData（3.8.x）版本更新的内容。JindoSDK 特性 描述 支持AssumeRoleStsCredentialsProvider 适用于获取一个扮演RAM角色的临时AccessKey访问OSS的情况，详细信息请...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.5.x）版本的更新内容。JindoFS OSS扩展和支持 优化OSS删除目录的性能。JindoSDK Java使用JindoSDK时，JindoSDK日志输出到Java日志中，以提高可诊断性。新增...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
操作便捷：无需额外配置客户端环境，可以直接使用预装的命令行工具（例如spark-submit）来提交作业。缺点：成本增加：增加了Gateway节点ECS实例的成本。企业生产环境作业提交。跨VPC与混合云架构。通过阿里云DataWorks提交作业（推荐）优点...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...