应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
购买网盘后，您需要根据实际业务需要修改网盘相关的企业信息以及为更换网盘指定超级管理员。前提条件 已开通并购买 阿里云盘企业版。具体操作，请参见 开始使用。操作步骤 重要 更换超级管理员时，若所填写的手机号或邮箱尚未注册网盘账户...
网盘相册场景 PDS提供了目录、文件管理，影像内容进行分类打标、人脸聚类等智能分析、基于内容的智能搜索能力，以及用户体系和第三方身份系统接入的能力，您可基于此开发一套面向企业或个人的网盘、相册系统。同时PDS提供了一些官方应用，...
使用Cloudreve应用镜像搭建网盘 Nextcloud 22.1.0 23.0.0 Nextcloud是一款开源的云存储网盘软件，可以帮助您快速便捷地搭建一套属于自己或团队共享的云同步网盘，从而实现跨平台跨设备文件同步、共享、版本控制、团队协作等功能。...
网盘与相册服务：针对有网盘、相册服务需求的客户，PDS提供能力供客户开发一套面向企业或个人的网盘、相册系统，同时PDS提供官方应用，可和您的系统组合使用，简化您的开发。数据托管：针对数据存储在OSS的客户，您可将已存储在阿里云OSS中...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
三、SDK申请系统权限的说明 网盘与相册服务SDK的服务可能涉及以下权限，开发者应根据实际需求向最终用户进行权限获取的申请 适用系统（Android/iOS）权限名称 是否必选 功能描述 Android android.permission.READ_EXTERNAL_STORAGE 是 上传...
阿里云网盘与相册服务（开发者版）提供强大的后端存储与数据处理能力，本文系统阐述其核心概念、应用场景与版本差异，助您快速构建安全、可靠的个人网盘或企业相册应用。
支持的操作系统 操作系统 系统版本 客户端格式 Windows 支持Windows 7、8、10、11系统 EXE格式 macOS 支持macOS 10.15及以上版本 DMG格式 Linux 支持Ubuntu、Deepin、Linux Mint等系统。DEB格式 支持CentOS、openSUSE、Red Hat等系统 RPM...
本文介绍了如何在轻量应用服务器中挂载使用网盘。前提条件 如您需要使用轻量应用服务器挂载功能，请务必按照以下步骤进行操作：已 开通并购买企业网盘。已开通轻量应用服务器。使用限制 网盘挂载到Linux轻量应用服务器后，主要用于非结构化...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
为了更好地融入开源生态，提供更加开放和多样...您可以通过使用开源Connector便捷地对接各种数据源和下游系统。说明 EMR-5.17.0、EMR-3.51.0版本开始使用Apache Flink 1.17.2版本，版本说明请参见 Apache Flink 1.17.2 Release Announcement。
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
中间件 Grafana 9.2.10 开源组件 中间件 keepalived 2.2.8 开源组件 中间件 Nginx 1.23.3 开源组件 中间件 openjdk 1.8.0.422 开源组件 中间件 openjdk 11.0.23.0.9 开源组件 中间件 openjdk 17.0.11.0.9 开源组件 中间件 tengine 2.4.0 ...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
配置应用连接开源版 SOFA 注册中心 在应用启动参数中配置以下系统变量：Dcom.alipay.confreg.url=127.0.0.1-Dcom.alipay.env=normal-Dspring.cloud.sofa.ldc.zone=DEFAULT_ZONE 配置完成后启动应用，即可连接上开源版 SOFA 注册中心。开源...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
功能变更 JindoFS存储优化 JindoFS缓存优化 JindoTable计算优化 JindoManager系统管理 JindoTools工具集 JindoFS生态支持 JindoFS存储优化 支持文件的checksum功能，对齐开源HDFS checksum相关接口，支持MD5MD5CRC和COMPOSITE_CRC两种算法...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
ECS实例 在E-MapReduce上创建的一台云服务器，等同于一台虚拟服务器，内含CPU、内存、操作系统、网络配置、磁盘等基础的组件。更多介绍，请参见 实例概述。E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景，请参见 ECS...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面。前提条件 已创建集群，详情请参见 创建集群。确保客户端机器与集群主节点网络连通...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中...相关文档 如果您对安全性要求较高或者在特定的网络环境下，您可以选择通过SSH方式访问Web界面，详情请参见 SSH隧道访问开源组件Web界面。服务使用问题，详情请参见 常见问题。
背景信息 EMR Flink完全兼容开源Flink，相关内容请参见社区文档。例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink...
本文介绍Presto的基本特性、系统组成和优势等信息。注意事项 EMR-3.45.0和EMR-5.11.0版本开始支持Presto，其版本号通常为0.2XX。此前各版本中的组件版本号为3XX的Presto，其内核均为PrestoSQL或Trino，相关信息请参见 Trino。基本特性 ...
如何将Hive数据按照分区归档到OSS 如何将Hive数据按照分区归档到OSS 2021-05-18 传统集群架构存在很多问题，例如存储量与计算量无法一直匹配、存储无法水平扩展、存储与计算竞争硬盘资源等。为了解决这些问题，您可以将HDFS中的热数据保留...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...