开源系统是什么意思-开源系统是什么意思文档介绍内容-移动阿里云

Trino

Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...

什么是EMR on ECS

EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...

EMR Studio（已不支持新购）

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

EMR旧版数据开发迁移公告

EMR Workflow更多信息，请参见 什么是EMR Workflow。如果您想将数据开发模块迁移至DataWorks，请参见 EMR数据开发停止更新公告。迁移流程通过使用EMR Workflow，您可以轻松将在EMR旧版数据开发中的工作流和任务导出为兼容Apache ...

EMR数据开发停止更新公告

EMR Workflow更多信息，请参见 什么是EMR Workflow。停止更新时间 2022年2月21日21点影响您在停更时间点前创建的数据开发项目不会受到影响，可正常使用EMR数据开发模块，包括运行作业和工作流调度。如果您后续需要更丰富的数据开发功能，...

Iceberg

对比项子项目开源Clickhouse实时数仓开源Hive离线数仓阿里云Iceberg数据湖系统架构架构计算存储一体计算存储分离计算存储分离多计算引擎支持不支持支持支持数据存储在对象存储不支持支持不完善支持数据存储在HDFS 不支持...

Flink

背景信息 EMR Flink完全兼容开源Flink，相关内容请参见社区文档。例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域从技术领域的角度，Flink...

接入开源版 SOFA 注册中心

以下是开源版注册中心与商业版的简要功能比较：功能开源版商业版服务注册支持支持服务订阅支持支持数据多副本（高可用）支持支持推送开关（平稳运维）支持支持连接心跳支持支持 hessian 序列化支持支持 protobuf 序列化 ...

ClickHouse

开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...

Presto

本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto，其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto，其内核均为PrestoSQL或Trino，相关信息请参见 Trino。基本特性 ...

为RAM用户授权

背景信息访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在EMR Serverless StarRocks中，RAM的典型使用场景如下：用户：如果您购买了EMR Serverless StarRocks实例，您的组织里有多个用户（例如运维、开发或数据...

技术支持的范围和方式

阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...

Kafka Manager

说明当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...

EMR Serverless Spark商业化公告

更多信息，请参见 什么是EMR Serverless Spark。控制台入口：立即前往。支持地域中国地区地域名称地域ID 华北2（北京）cn-beijing 华东2（上海）cn-shanghai 华东1（杭州）cn-hangzhou 华南1（深圳）cn-shenzhen 华北3（张家口）...

OpenLDAP 用户管理

EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...

Zookeeper

数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...

数据分析

本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...

OpenLDAP

OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的访问链接与端口功能访问...

SmartData（仅对存量用户开放）

JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...

扩容集群

EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见迁移StarRocks数据至EMR Serverless StarRocks。操作步骤重要集群扩容操作不会重启存量...

为RAM用户授权

背景信息访问控制RAM是阿里云提供的资源访问控制服务，详情请参见 什么是访问控制。在E-MapReduce中，RAM的典型使用场景如下：用户：您可以通过RAM用户对项目组开发、运维等不同角色人员进行授权，实现不同RAM用户拥有不同资源访问权限。...

SmartData 3.1.x版本简介

功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...

新增服务

E-MapReduce支持在集群成功创建后...相关文档如果您需要访问服务的Web UI，详情请参见通过控制台访问开源组件Web界面。如果您需要查看服务的状态，详情请参见查看服务和组件健康状态。如果有服务相关的问题，详情请参见集群管理常见问题。

内置函数

内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数说明 PARQUET_SCHEMA 获取Parquet...

Celeborn介绍

Apache Celeborn是阿里云开源的中间数据服务，旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎，支持Spark、Flink、MapReduce(MR)和 Tez，并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...

使用OpenAPI

本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见使用OpenAPI。基本信息版本说明 E-MapReduce 版本号说明 2021-03-20 推荐使用。EMR Workbench 版本号说明 2024-04-30 推荐使用...

创建工作空间

工作空间是Serverless Spark的基本单元，...更多标签信息，请参见 什么是标签。自定义输入标签键和标签值单击创建工作空间。相关文档创建工作空间后，您可以开始进行相关任务的开发，例如SparkSQL任务，详情请参见 SparkSQL开发快速入门。

登录集群

您可以通过SSH方式或者Workbench等其他连接...相关文档为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：SSH隧道访问开源组件Web界面通过控制台访问开源组件Web界面

其他漏洞汇总说明

Apache Hadoop YARN ZKConfigurationStore反序列化代码执行漏洞（CVE-2021-25642）Apache Hadoop YARN是默认的Haodop资源管理器，是一个通用的资源管理和调度系统。ZKConfigurationStore是YARN CapacityScheduler调度器用于从ZooKeeper获取...