JindoSDK:为EMR各种开源计算引擎提供统一的SDK,支持Java、C、C++和Python语言,提供多种访问和API接口,包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集:提供相关的工具集,例如Jindo tool和迁移工具Jindo DistCp。各种...
背景信息 EMR Flink完全兼容开源Flink,相关内容请参见社区文档。例如:DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景,本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度,Flink...
本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto,其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto,其内核均为PrestoSQL或Trino,相关信息请参见 Trino。基本特性 ...
本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合,为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例 在E...
说明 当选择了Kafka服务,系统将默认安装Kafka Manager软件服务,并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时,当前版本的Kafka Manager是没有提供限流功能的。如果需要限流,您可以通过 ...
EMR用户可以用于访问链接与端口,查看开源组件Web UI时的用户身份认证,也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP,则可以对用户管理中的用户进行权限控制。如果是高安全集群,EMR用户可以用于Kinit操作...
您可以通过SSH方式或者Workbench等其他连接...相关文档 为了确保集群安全,Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放,您可以通过以下方式访问开源组件的Web界面:SSH隧道访问开源组件Web界面 通过控制台访问开源组件Web界面
EMR Notebook提供了全托管的兼容开源Jupyter的Notebook服务,同时内置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等应用程序的开发和运行。本文以Hive查询为例,为您介绍如何使用EMR Notebook。前提条件 已完成系统角色...
日志管理功能将EMR与日志服务SLS相结合,允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群,具体操作请参见 创建集群。已 开通日志服务。使用限制 本文操作仅适用于数据湖(DataLake)、实时数据流(DataFlow)...
本文为您介绍如何访问HDFS Web界面,包括获取NameNode服务地址、浏览NameNode UI首页,并提供有关启动NameNode UI的相关说明。访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI,具体操作请参见 通过SSH隧道方式访问开源...
内置函数清单 Serverless Spark 兼容开源内置函数的使用,开源具体函数说明请参见 Spark SQL Functions。此外,Serverless Spark 还支持多个特有内置函数,以下是特有支持的内置函数及其相关说明。函数 说明 PARQUET_SCHEMA 获取Parquet...
EMR Workflow是一个全托管的工作流和任务调度服务,100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。本文以...
E-MapReduce支持在集群成功创建后...相关文档 如果您需要访问服务的Web UI,详情请参见 通过控制台访问开源组件Web界面。如果您需要查看服务的状态,详情请参见 查看服务和组件健康状态。如果有服务相关的问题,详情请参见 集群管理常见问题。
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的namespace的存储模式(Block或Cache)支持的文件系统权限功能。Block模式和Cache模式不支持切换。背景信息 根据您namespace的存储模式,JindoFS支持的系统权限如下:当您namespace的存储模式是Block模式时,支持Unix和...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
本文介绍JindoFS的Block模式支持的文件系统权限功能,包括Unix权限和Ranger权限两种。背景信息 您可以在Apache Ranger组件上配置用户权限,在JindoFS上开启Ranger插件后,就可以在Ranger上对JindoFS权限(和其它组件权限)进行一站式管理。...
Apache Celeborn是阿里云开源的中间数据服务,旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎,支持Spark、Flink、MapReduce(MR)和 Tez,并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
版本说明 MSE Nacos 版本 开源控制台默认状态 是否支持鉴权 描述 1.x及2.2.3.1之前的2.x版本 开启 不支持 默认开启开源控制台,且不支持鉴权,开源控制台的URL可被任何人访问,建议使用商业化控制台。若确实需要使用,建议 设置白名单 来...
OpenLDAP是LDAP协议(Lightweight Directory Access Protocol)的开源实现,在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中,Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
在创建集群时,支持对系统盘绑定KMS密钥加密。适用客户 全网用户 新增功能/规格 在创建集群时,支持对系统盘绑定KMS密钥加密。产品文档 创建集群
与自建Hadoop集群相比,开源大数据开发平台EMR提供弹性资源管理和自动化运维,降低运维复杂度,通过用户管理、数据加密和权限管理等为数据安全保驾护航,同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态,便于快速搭建大数据处理和...
EMR Studio上的Zeppelin与开源版本一致吗?如何设置Zeppelin Note的权限?Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗?EMR Studio上的Zeppelin是增强版的Zeppelin,与开源版本不一致。E-MapReduce的...
适用客户 全网用户 新增功能/规格 阿里云E-MapReduce(简称EMR)支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下,具有更高的性价比,帮助用户降低成本并提高效率。产品文档 ...