Shuffle Read过程中存在大量小数据量的IO请求和随机读，对磁盘和CPU造成高负载。对于M*N次的连接数，在M和N数千的规模下，作业基本无法完成。NodeManager和Spark Shuffle Service是同一进程，当Shuffle的数据量特别大时，通常会导致...
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
本文为您介绍开源组件常用端口。服务 端口 描述 Hadoop 2.X 50070 HDFS Web UI的端口。配置参数为 dfs.namenode.http-address 或 dfs.http.address 。说明 dfs.http.address 已过期但仍能使用。50075 DataNode Web UI的端口。50010 ...
Tez是Apache构建在Hadoop之上的支持分布式DAG（Directed Acyclic Graph）的计算框架，支持通过复杂的DAG描述并处理大数据任务。背景信息 Tez主要使用在Apache Hive中，作为Hive的一种运行时引擎，可以优化Hive SQL的查询引擎。与Hive On MR...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
对于数据泄露风险，补救的成本会更大比例体现在赔偿和罚款，较小比例体现在对IT系统的升级加固上。企业需充分结合自身实际情况从上述角度评估数据泄露的风险。最终，对风险大小的评估、对风险治理程度的决策和预案将决定IT架构上数据防护...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
本云采用框架白皮书始终关注于企业在业务目标和云采用目标达成一致，在云采用的生命周期：上云战略、上云准备、应用上云和运营治理四个阶段为企业提供业务和技术策略指导，帮助企业从组织、人员和技术层面着手采取行动，确保云采用的价值...
登录Ranger UI，详情请参见 通过控制台访问开源组件Web界面。选择 Settings Users/Groups/Roles。在 Users 页签中，您可以查看是否有新创建的Unix用户。例如，在步骤1中创建了test用户。场景二：集群已部署OpenLDAP 如果集群中已部署...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
ApplicationMaster 负责应用程序相关事务。例如，ApplicationMaster负责协调来自ResourceManager的资源，并通过NodeManager进行监控和资源管理等。优势 EMR集群中的YARN优势如下：高可用集群可以自动开启YARN HA部署。便捷的运维。例如，...
访问Impala Web UI 您可以通过SSH隧道和控制台两种方式访问Impala Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI 和 访问链接与端口。说明 使用Knox访问UI的前提条件是，Master节点必须具备公网IP地址，并且只允许对Catalogd和...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
同时，它100%兼容开源Spark生态，能够无缝集成到客户现有的数据平台。通过使用EMR Serverless Spark，企业可以更加专注于数据处理分析及模型训练的优化，从而提升工作效率。前置概念 阅读本文前，您可能需要了解如下概念：什么是云原生？...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
《开源大数据平台E-MapReduce Serverless服务等级协议》已于2024年02月02日修订，并将于2024年03月01日生效。当前服务等级协议详情，请在 服务等级协议 中查看。变更生效时间 2024年03年01日 变更范围 EMR Serverless StarRocks（标准版）...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
名称 类型 描述 示例值 object 成本优化模式配置。OnDemandBaseCapacity integer 按量实例个数的最小值。节点组所需要按量实例个数的最小值，取值范围：0~1000。当按量实例个数少于该值时，将优先创建按量实例。80 ...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
操作步骤 使用SSH隧道方式访问Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。说明 建议您首次使用Kafka Manager时修改默认密码。为了防止8085端口暴露，建议使用SSH隧道方式来访问Web界面。如果使用 http://localhost:8085 方式...
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
Apache Ranger提供集中式的权限管理框架，可以对Hadoop生态中的HDFS、Hive和YARN等组件进行细粒度的权限访问控制，并且提供了Web UI方便管理员操作。Ranger组件介绍 Ranger主要由三个组件组成：Ranger Admin 您可以创建和更新安全访问策略...
名称 类型 描述 示例值 object 伸缩规则配置。RuleName string 规则名称。必填参数，不允许为空字符串。scalingByYarnMemory TriggerType string 伸缩规则类型。必填参数。取值范围：TIME_TRIGGER：按时间伸缩。METRICS_TRIGGER：按负载...
产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
名称 类型 描述 示例值 object ScriptName string 脚本名称。必填。...可以包含中文、英文、数字、下划线（_）、或者短划线（-）脚本名-1 ScriptPath string 脚本所在 OSS 路径。必填。以 oss:/开头。oss:/bucket1/update_hosts.sh ScriptArgs...
名称 类型 描述 示例值 object 资源规格。cu integer CU 数量。CU(Compute Unit)是服务的基本计量单元，1 CU=1 核 CPU+4GiB 内存。3 storageSize integer 存储大小。100 nodeNumber integer 节点数。3 storagePerformanceLevel string 云盘...
支持Hadoop Credentials Provider框架，允许按照Hadoop常用方式指定OSS的AccessKey配置。支持Flink Connector，允许Flink引擎将OSS作为source、sink和checkpoint存储。提供JindoFS OSS SDK（Hadoop Connector）轻量版本（lite），主要适用...
加密系统盘后，系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求，则可以使用该功能。您无需自建和维护密钥管理基础设施，就能保护数据的隐私性和自主性，为业务数据提供安全边界。背景信息 系统...
增强Credentials Provider框架，新增JindoCommonCredentialsProvider。优化文件Create操作的性能，去掉OSS写入时的冗余检查。JindoFS存储优化 JindoFS Block模式支持数据加密，加密密钥支持阿里云密钥管理服务KMS（Key Management Service...
通过Livy，您可以利用Airflow中的livy_operator以及spark_magic等开源项目，向Serverless Spark提交任务、查询任务状态并获取计算结果。Kyuubi提供了JDBC/ODBC接口，支持通过SQL查询或BI工具（如Tableau、Power BI）直接连接Serverless ...
背景信息 EMR Flink完全兼容开源Flink，相关内容请参见社区文档。例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink...
cd/opt/apps/KNOX/knox-current/templates sh ldap-sample-users.sh 访问Web UI 访问Web UI的详情，请参见 通过控制台访问开源组件Web界面。常见问题 Q：Knox组件异常停止，启动Knox的时候报错 Failed to start gateway:org.apache.hadoop....
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
笔记本概述 笔记本是进行程序开发的载体，每个笔记本对应一个.ipynb文件。您可以在一个工作空间内创建一个或多个笔记本。每个笔记本由单元格（Cell）组成。目前EMR Notebook支持以下类型的单元格：SQL：用于编辑和运行SQL代码。Python：...
由于ACK控制台上 访问链接与端口 不可用，您可通过以下配置访问开源组件的Web UI。登录 容器服务管理控制台。在 集群列表 页面，单击EMR on ACK所关联集群的 集群名称。鼠标悬浮在左边菜单栏 网络，单击 服务，在服务页面更新YAML文件。...
可用区之间内网互通，可用区内网络延时更小。StarRocks实例 每一个创建的StarRocks集群（包括多台FE及多台BE节点）统称为一个StarRocks实例。FE（Frontend）FE是StarRocks的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询...
将人员用户和程序用户分离。创建RAM用户时，支持设置 控制台访问 和 使用永久AccessKey访问 两种访问方式。控制台用户使用 账号和密码 访问云产品控制台，API用户使用 访问密钥AK（AccessKey）调用API访问云资源。建议您将两个不同的使用...
将人员用户和程序用户分离。创建RAM用户时，支持设置 控制台访问 和 使用永久AccessKey访问 两种访问方式。控制台用户使用 账号和密码 访问云产品控制台，API用户使用 访问密钥AK（AccessKey）调用API访问云资源。建议您将两个不同的使用...