Trino(即原PrestoSQL)是一个开源的分布式SQL查询引擎,适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino,之前各版本控制台显示为Presto,内核其实是Trino,使用时请注意区分。基本特性 Trino使用Java语言...
EMR ClickHouse完全兼容开源版本的产品特性,同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能,并且在开源的基础上优化了ClickHouse的读写性能,提升了ClickHouse与EMR其他组件快速集成的能力。特性 特性 描述 列式...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks,并且具备自动升级软件版本的功能,可省去手动管理版本的繁琐与风险。迁移方案详情,请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全,Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放,您可以通过以下方式访问开源组件的Web界面:SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务,同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例,为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
加密系统盘后,系统盘上的操作系统、程序文件及其他系统相关数据将会被加密。如果您的业务存在安全合规要求,则可以使用该功能。您无需自建和维护密钥管理基础设施,就能保护数据的隐私性和自主性,为业务数据提供安全边界。背景信息 系统...
EMR Studio是E-MapReduce提供的开源大数据开发套件,包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群(EMR on ECS和EMR on ACK)的计算引擎提交任务,并提供了交互式开发、任务调度和任务监控等...
本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto,其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto,其内核均为PrestoSQL或Trino,相关信息请参见 Trino。基本特性 ...
通过访问链接与端口功能,您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接,以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择,请参见 查看开源组件 Web 界面...
在投递的过程中可能添加数据清洗和集成的工作,例如实时构建搜索系统的索引和实时数仓中的ETL过程等。实时数据分析 实时数据分析指的是根据业务目标,从原始数据中抽取对应信息并整合的过程。例如,查看每天销量前10的商品、仓库平均周转...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外,还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理,您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择,请参见 查看开源组件 ...
阿里云E-MapReduce(简称EMR)是云原生开源大数据平台,能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上,集群资源归属于用户,EMR提供基于该资源的半托管云服务能力,用户对集群拥有完全的管理操作权限,...
本章节介绍如何通过多种方式读写不同的数据存储系统,支持结构化、半结构化和非结构化数据的高效存储与访问。涵盖主流大数据存储引擎的集成,满足多样化的业务需求。读写Doris 读写StarRocks 读写MaxCompute 读写HBase 读写MongoDB 读写...
Apache Celeborn是阿里云开源的中间数据服务,旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎,支持Spark、Flink、MapReduce(MR)和 Tez,并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
同时,它100%兼容开源Spark生态,能够无缝集成到客户现有的数据平台。通过使用EMR Serverless Spark,企业可以更加专注于数据处理分析及模型训练的优化,从而提升工作效率。前置概念 阅读本文前,您可能需要了解如下概念:什么是云原生?...
EMR Studio上的Zeppelin与开源版本一致吗?如何设置Zeppelin Note的权限?Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗?EMR Studio上的Zeppelin是增强版的Zeppelin,与开源版本不一致。E-MapReduce的...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
EMR用户可以用于访问链接与端口,查看开源组件Web UI时的用户身份认证,也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP,则可以对用户管理中的用户进行权限控制。如果是高安全集群,EMR用户可以用于Kinit操作...
YARN是Hadoop系统的核心组件,主要功能包括负责在集群中的资源管理,负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度,为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的Master...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
鉴于阿里云ECS所使用的部分操作系统镜像即将停止,或已处于停止支持状态,这类情况将对EMR的正常运行与维护产生直接影响。本文为您介绍阿里云ECS中即将或已停止支持的操作系统,以及受影响的EMR版本。即将或已停止支持的操作系 第三方操作...
Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验,在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍,请参见 Apache Hive官网。相关文档 如何使用Hive客户端连接Hive,请参见 Hive连接方式。Hive服务...