本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情请参见 创建集群。背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上...
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情请参见 创建集群。背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上...
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情请参见 创建集群。背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情请参见 创建集群。背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上...
ZooKeeper的定位是一个分布式协调服务，不能把ZooKeeper当作一个文件系统来使用，通常，znode数量应尽量保持在10万以下，snapshot大小应在800 MB以下。您可以在E-MapReduce控制台的 集群监控 页签，查看Zookeeper的znode数量监控。查看...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启将会导致业务出现闪断，请您确认客户端已经做好业务重试机制，以免影响业务正常使用！释放：当您不再需要某个实例提供服务时，您可以释放该实例，以免...
Livy Gateway是一个基于REST的服务，用于简化与 Apache Spark 的交互。它支持通过HTTP提交任务、查询计算结果，兼容多种编程语言。通过Livy Gateway，您可以结合Airflow的 livy_operator 或Jupyter Notebook的 spark_magic 等工具，轻松向...
通过计算组，您可以实现资源的有效隔离、灵活扩缩容以及高效的数据共享，以满足多业务并发和多样化场景需求，确保服务的高稳定性和数据查询的高速度。本文为您介绍如何管理计算组，包括新增计算组、配置计算组、重启计算组等操作，以帮助您...
与开源系统相同的使用体验。Spark on MaxCompute与社区开源Spark保持相同的体验（例如开源应用的UI界面、在线交互等），完全符合Spark用户使用习惯。开源应用的调试过程中需要使用开源UI，Spark on MaxCompute提供原生的开源实时UI和查询...
2024-03-14 查看服务和组件健康状态 集群节点供应支持尽力交付模式 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的节点。2024-03-14 尽力交付 2023年 10月 功能名称 功能概述 发布...
默认情况下，Spring Cloud SOFA 会自动配置该参数以便让应用接入商业版 SOFA 中间件，如果要使用非...支持 客户端机房收敛 不支持 支持 多集群同步 不支持 支持 机房级容灾 不支持 支持 推送数据压缩 不支持 支持 白屏化管控界面 不支持 支持
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
JindoManager系统管理 增加了JindoManager服务，集中负责Jindo系统的运维管理以及状态监控等附加功能，提供了Web UI服务，以及查看各项Jindo系统状态。JindoTools工具集 Jindo DistCp工具针对小文件优化了Job Commiter的逻辑，大幅减少OSS...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS（Geographic Information System）数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 自定义数据类型 自定义SQL函数 流水线：基于Pipeline处理模型数据在处理...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
同时，它100%兼容开源Spark生态，能够无缝集成到客户现有的数据平台。通过使用EMR Serverless Spark，企业可以更加专注于数据处理分析及模型训练的优化，从而提升工作效率。前置概念 阅读本文前，您可能需要了解如下概念：什么是云原生？...
Hive Client Hive客户端，直接利用该客户端提交SQL作业，根据其设置运行引擎配置，可以将SQL转换成MR作业、Tez作业和Spark作业，该模块在所有EMR节点上均有安装。Hive功能增强 在各版本的EMR中，Hadoop、Hive版本和EMR集群的配套情况，请...
背景信息 随着StarRocks开源社区的持续发展，StarRocks通过发布新版本为您提供更多优势特性，例如更快的性能、更好的安全性以及更多的功能等。同时，StarRocks的旧版本也将会随着技术演进逐步停止使用。如果您继续使用较低版本的StarRocks...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
集群类型 Spark 通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark...
典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景，包括GMV、订单、物流、客户分析、推荐系统、用户画像场景。支持离线导入和实时导入两种方式来处理数据。原有解决方案：通过多种OLAP引擎满足不同的场景。...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
中间件 Grafana 9.2.10 开源组件 中间件 keepalived 2.2.8 开源组件 中间件 Nginx 1.23.3 开源组件 中间件 openjdk 1.8.0.422 开源组件 中间件 openjdk 11.0.23.0.9 开源组件 中间件 openjdk 17.0.11.0.9 开源组件 中间件 tengine 2.4.0 ...
前提条件 已创建数据湖（DataLake）或自定义场景（Custom）类型的集群，且选择了YARN服务。创建集群详情，请参见 创建集群。操作步骤 方式一：查看YARN资源利用率环比 进入弹性伸缩页面。登录 EMR on ECS。在顶部菜单栏处，根据实际情况...
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统...可以通过统一的客户端API和全局命名空间访问包括HDFS和OSS在内的持久化存储系统...
开源组件 集成Apache社区开源大数据组件，涵盖数据集成、数据存储、资源管理、计算引擎、数据开发、数据服务等多个领域，方便快速搭建高效可靠的数据处理和管理平台。自研组件 为了让开源大数据组件和服务更好地运行在阿里云基础设施上，...
文件中包含了整个文件系统的命名空间、文件、Block和文件系统配额等元数据信息。HDFS支持通过命令行下载整个fsimage文件（xml形式）到本地，以便离线分析元数据信息，而JindoFS无需下载元数据信息至本地。上传文件系统元数据至OSS 使用...