本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情请参见 创建集群。背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上...
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情请参见 创建集群。背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
本文介绍如何通过FUSE客户端访问JindoFS。FUSE支持Block和JFS Scheme的Cache两种模式。前提条件 已创建集群，详情请参见 创建集群。背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上...
ZooKeeper的定位是一个分布式协调服务，不能把ZooKeeper当作一个文件系统来使用，通常，znode数量应尽量保持在10万以下，snapshot大小应在800 MB以下。您可以在E-MapReduce控制台的 集群监控 页签，查看Zookeeper的znode数量监控。查看...
ISO22301 ISO22301业务连续性管理体系是国际公认用于衡量企业服务连续性能力是否符合社会责任和客户承诺的唯一标准。阿里云已获得全球最新版ISO/IEC 22301业务连续性国际认证。ISO27001 ISO27001信息安全管理体系国际认证是全球广泛采用的...
例如，用于系统更新、配置更改或其他需要重启服务以确保新设置生效的情况。警告 重启将会导致业务出现闪断，请您确认客户端已经做好业务重试机制，以免影响业务正常使用！释放：当您不再需要某个实例提供服务时，您可以释放该实例，以免...
Livy Gateway是一个基于REST的服务，用于简化与 Apache Spark 的交互。它支持通过HTTP提交任务、查询计算结果，兼容多种编程语言。通过Livy Gateway，您可以结合Airflow的 livy_operator 或Jupyter Notebook的 spark_magic 等工具，轻松向...
通过计算组，您可以实现资源的有效隔离、灵活扩缩容以及高效的数据共享，以满足多业务并发和多样化场景需求，确保服务的高稳定性和数据查询的高速度。本文为您介绍如何管理计算组，包括新增计算组、配置计算组、重启计算组等操作，以帮助您...
背景信息 随着StarRocks开源社区的持续发展，StarRocks通过发布新版本为您提供更多优势特性，例如更快的性能、更好的安全性以及更多的功能等。同时，StarRocks的旧版本也将会随着技术演进逐步停止使用。如果您继续使用较低版本的StarRocks...
使用Thrift Server，您无需依赖Java客户端即可高效访问和操作HBase中的数据。背景信息 HBase Thrift Server是基于Apache Thrift开发的一种服务，旨在为多语言开发提供高效的访问HBase的能力。Thrift是一个可伸缩的跨语言服务RPC框架。当前...
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
2024-03-14 查看服务和组件健康状态 集群节点供应支持尽力交付模式 在进行按量付费节点组的扩容时，如果ECS库存不足或ECS服务部署失败，系统将尽最大努力交付所有创建成功的节点。2024-03-14 尽力交付 2023年 10月 功能名称 功能概述 发布...
默认情况下，Spring Cloud SOFA 会自动配置该参数以便让应用接入商业版 SOFA 中间件，如果要使用非...支持 客户端机房收敛 不支持 支持 多集群同步 不支持 支持 机房级容灾 不支持 支持 推送数据压缩 不支持 支持 白屏化管控界面 不支持 支持
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
通过访问链接与端口功能，您可方便地通过控制台方式访问集群中已安装开源组件Web界面的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 Web 界面...
JindoManager系统管理 增加了JindoManager服务，集中负责Jindo系统的运维管理以及状态监控等附加功能，提供了Web UI服务，以及查看各项Jindo系统状态。JindoTools工具集 Jindo DistCp工具针对小文件优化了Job Commiter的逻辑，大幅减少OSS...
除了通过EMR控制台提供的链接地址访问开源组件Web界面外，还可通过SSH隧道方式进行安全访问。通过SSH隧道和SOCKS代理，您可在不暴露集群内部网络结构的情况下访问开源组件Web界面。说明 开源组件Web界面访问方式选择，请参见 查看开源组件 ...
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
开源大数据平台E-MapReduce（Elastic MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。
同时，它100%兼容开源Spark生态，能够无缝集成到客户现有的数据平台。通过使用EMR Serverless Spark，企业可以更加专注于数据处理分析及模型训练的优化，从而提升工作效率。前置概念 阅读本文前，您可能需要了解如下概念：什么是云原生？...
Hive Client Hive客户端，直接利用该客户端提交SQL作业，根据其设置运行引擎配置，可以将SQL转换成MR作业、Tez作业和Spark作业，该模块在所有EMR节点上均有安装。Hive功能增强 在各版本的EMR中，Hadoop、Hive版本和EMR集群的配套情况，请...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
为了更好地融入开源生态，提供更加开放和多样化的计算服务，阿里云E-MapReduce（简称EMR）从EMR-5.17.0和EMR-3.51.0版本开始，将Flink引擎版本从Flink企业版Ververica Runtime（简称VVR）调整为Flink社区开源版本，同时引入RocksDB作为存储...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
本文描述开源大数据平台 E-MapReduce支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问...
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
中间件 Grafana 9.2.10 开源组件 中间件 keepalived 2.2.8 开源组件 中间件 Nginx 1.23.3 开源组件 中间件 openjdk 1.8.0.422 开源组件 中间件 openjdk 11.0.23.0.9 开源组件 中间件 openjdk 17.0.11.0.9 开源组件 中间件 tengine 2.4.0 ...
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统...可以通过统一的客户端API和全局命名空间访问包括HDFS和OSS在内的持久化存储系统...
自研组件 为了让开源大数据组件和服务更好地运行在阿里云基础设施上，EMR提供的自研组件如下：OSS-HDFS：兼容Hadoop分布式文件系统接口的对象存储解决方案，支持大数据计算任务通过标准HDFS协议直接访问阿里云OSS的数据。JindoCache：分布...
EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见 迁移StarRocks数据至EMR Serverless StarRocks。操作步骤 重要 集群扩容操作不会重启存量...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...