Fedora Linux 34 Fedora Linux是由Fedora项目社区开发，目标是创建一套新颖、多功能并且开源的操作系统。Anolis 8.2 Anolis OS 8是OpenAnolis社区发行的开源Linux发行版，与CentOS 8 100%兼容，支持多计算架构，提供稳定、高性能、安全可靠...
无论是ETL任务、实时分析还是机器学习训练，均可在同一管道中完成编排，从而避免多系统割裂所带来的问题。同时，所有操作均可通过RAM认证和鉴权进行管理，细粒度地控制对资源、数据及功能的访问权限，以确保企业级安全。此外，SQL和...
适用客户 全网用户 新增功能/规格 资源组会对您拥有的云资源从用途、权限和归属等维度上进行分组，实现企业内部多用户、多项目的资源分级管理。一个云资源只能属于一个资源组，云资源之间的关联关系不会因加入资源组而发生变化。EMR ...
协同开发：支持多用户同时访问，每个用户的开发环境是独立的，互不影响，实现高效协作。数据处理能力：集成了Apache Spark、Hive、StarRocks等强大的数据处理框架。EMR Workflow 工作流设计：通过可视化界面设计和管理数据处理流程。任务...
更多用户组授权操作信息，请参见 为RAM用户组授权。用户授权 您可以通过如下方式为用户授权：直接为用户授权：适用于为零散用户进行单点授权。基于用户组为用户授权：适用于为多个用户授予相同的操作权限。相关文档 如果您首次使用阿里云E-...
说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装并自行管理。EMR主要由开源组件、自研组件、集成的阿里云产品和集群管理四部分组成。您可以根据产品架构图查看EMR提供的大数据组件及...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
Spark on MaxCompute是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 Spark on ...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
操作系统环境变量 EMR Kafka集群的ECS实例操作系统用户为kafka，用户组为group，您可以登录ECS实例执行各类操作。EMR Kafka预置了以下Shell终端环境变量。变量名 说明 KAFKA_ROOT Kafka服务安装的根目录。KAFKA_HOME Kafka Broker软件安装...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
用户画像 可以将各种用户特征进行数据加工，制作成包含全部用户的一张或多张用户特征表，提供灵活的用户画像分析、支撑广告和圈人等业务需求。实时BI报表 根据业务需求，可以实时制作一些及时产出的查询灵活的BI报表，实现秒级查询，绝大...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Presto是典型的M/S架构的系统，由一个Coordinator节点和多个Worker节点组成。Coordinator负责如下工作：接收用户查询请求，解析并生成执行计划，下发Worker节点执行。监控Worker节点运行状态，各个Worker节点与Coordinator节点保持心跳连接...
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。相关文档 如何使用Hive客户端连接Hive，请参见 Hive连接方式。Hive服务...
应用场景 StarRocks可以满足企业级用户的多种分析需求，具体的业务场景如下所示：OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 ...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
默认使用服务密钥为用户的数据进行加密，也支持使用用户自选密钥为用户的数据进行加密。重要 不支持加密本地盘。引导操作 可选配置，您可以在集群启动Hadoop前执行您自定义的脚本，详情请参见 引导操作。标签 可选配置，您可以在创建集群时...
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已 开通日志服务。使用限制 ...
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务，同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例，为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
Apache Celeborn是阿里云开源的中间数据服务，旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎，支持Spark、Flink、MapReduce(MR)和 Tez，并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
列入黑名单的参数将被系统强制忽略，用户无法覆盖这些参数。更多关于Livy配置文件及其参数的详情信息，请参见 Livy Gateway配置示例。在Livy Gateway页面，单击已创建Livy Gateway操作列的 启动。管理Token 说明 Token使用时，请在请求的...
广告投放分析 管理驾驶舱 探针分析APM（Application Performance Management）高并发查询 广告主报表分析 零售行业渠道人员分析 SaaS行业面向用户分析报表 Dashboard多页面分析 统一分析 通过使用一套系统解决多维分析、高并发查询、预计算...
本文描述EMR Workbench支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）...
授权主体 被授权主体，即需要授权的RAM用户，系统会自动填入当前的RAM用户，您也可以添加其他RAM用户。权限策略 支持的 系统策略 如下：AliyunEMRServerlessSparkFullAccess：EMR Serverless Spark管理员权限，包含创建、删除工作空间权限...
授权主体 被授权主体，即需要授权的RAM用户，系统会自动填入当前的RAM用户，您也可以添加其他RAM用户。选择权限 在 系统策略 中搜索并选择 AliyunEMRWorkflowAdmin 权限。AliyunEMRWorkflowAdmin权限内容 {"Version":"1","Statement":[{...
授权主体 被授权主体，即需要授权的RAM用户，系统会自动填入当前的RAM用户，您也可以添加其他RAM用户。选择权限 在 系统策略 中，输入并选择 AliyunEMRNotebookFullAccess 权限。该系统策略内容如下。{"Version":"1","Statement":[{"Action...
在EMR Serverless StarRocks中，RAM的典型使用场景如下：用户：如果您购买了EMR Serverless StarRocks实例，您的组织里有多个用户（例如运维、开发或数据分析）需要使用这些实例，您可以创建一个策略允许部分用户使用这些实例。避免将同...
多个用户组使用逗号进行分隔。hive.server2.authentication.ldap.groupClassKey posixGroup 新增 LDAP中表示组对象的objectClass属性值。hive.server2.authentication.ldap.groupMembershipKey memberUid 新增 LDAP组对象中用于存储成员...
添加用户更多详情，请参见 添加用户。开启LDAP认证。单击 集群服务 页签。在 集群服务 页面，单击Impala服务区域的 状态。打开enableLDAP开关。EMR-5.11.1及之后版本，EMR-3.45.1及之后版本 在 服务概述 区域，打开 ImpalaLDAP 开关。在弹...