Spark Thrift Server会话：Spark Thrift Server是Apache Spark提供的一种服务，支持通过JDBC或ODBC连接并执行SQL查询，从而便捷地将Spark环境与现有的商业智能（BI）工具、数据可视化工具及其他数据分析工具集成。相关文档 管理SQL会话 ...
背景说明 在新建计算字段时，您可以使用Quick BI提供的系统内置函数，或者使用数据库函数。系统内置函数：Quick BI提供的计算函数，可屏蔽底层数据库的差异。本文将会详细介绍每一个函数的定义和用法，并提供了详细的示例，具体请参见 系统...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
支持的开源组件有限。说明 该方式目前支持的服务如下：YARN、HDFS、SPARK2、SPARK3、FLINK、HBASE、IMPALA、TRINO、PRESTO、TEZ、RANGER。【外网访问】优点：开启端口少，只需开启Knox的端口8443。提供外部访问的能力，适合需要远程访问的...
不要在RAM访问控制台上删除或修改EMR服务角色的系统策略。AliyunEMRDefaultRole 该角色允许E-MapReduce服务在配置资源和执行服务级别操作时调用其他阿里云服务。所有集群都需要该角色，且不能更改。该角色详情请参见 EMR服务角色。该角色...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
阿里云CLI 支持 阿里云命令行工具（Alibaba Cloud Command Line Interface）是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行...
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
权限策略 支持的 系统策略 如下：AliyunEMRServerlessSparkFullAccess：EMR Serverless Spark管理员权限，包含创建、删除工作空间权限，具体策略详情请参见 AliyunEMRServerlessSparkFullAccess。AliyunEMRServerlessSparkDeveloperAccess...
默认的ECS应用角色关联的系统策略由阿里云创建和维护。因此，若服务要求发生变化，该策略将会自动更新。EMR on ECS版本不同时，默认的ECS应用角色不同：EMR-3.32.0之后版本和EMR-4.5.0之后版本、EMR-5.x系列版本：ECS应用角色默认使用...
EMR Serverless StarRocks会记录当前实例资源发生的系统事件，并自动将其同步到云监控服务。您可以在EMR控制台查看实例的事件，并在云监控控制台中设置事件告警规则，以便及时响应。事件类型 健康事件 健康事件是非人为引发的服务健康状态...
false SpotInstanceRemedy boolean 开启补齐抢占式实例后，当收到抢占式实例将被回收的系统消息时，伸缩组将尝试创建新的实例，替换掉将被回收的抢占式实例。取值范围：true：开启补齐抢占式实例。false：不开启补齐抢占式实例。默认值：...
E-MapReduce（简称EMR）会记录当前集群资源发生的系统事件，并自动将其同步到云监控服务。您可以在EMR控制台查看集群的事件，并在云监控控制台中设置事件告警。使用限制 当前仅展示EMR on ECS中DataLake、DataFlow、OLAP、DataServing和...
如果结合上游系统的At-Least-Once语义，则可以实现导入数据的Exactly-Once语义。同步及异步导入 导入方式分为同步和异步。对于同步导入方式，返回结果即表示导入成功还是失败。而对于异步导入方式，返回成功仅代表作业提交成功，不代表数据...
Apache Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型：Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
Apache Flume是一个分布式、可靠和高可用的系统，可以从大量不同的数据源有效地收集、聚合和移动日志数据，从而集中式的存储数据。使用场景 Flume使用最多的场景是日志收集，也可以通过定制Source来传输其他不同类型的数据。Flume最终会将...
基本概念 名称 描述 NameNode 用于管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息，记录写入的每个数据块（Block）与其归属文件的对应关系。此信息以命名空间镜像（FSImage）和编辑日志（EditsLog）两种形式持久化在本地...
如果您在使用智能分析套件Quick BI的过程中有任何疑问或建议，您可以通过不同渠道联系到我们。售前咨询 在购买阿里云产品前，可通过以下渠道了解或咨询产品信息：拨打阿里云售前电话：400-801-3260，根据电话提示转到售前人工服务。登录 ...
JindoManager系统管理 支持通过UI来查看JindoFS存储系统上的系统状态、文件统计和缓存系统上的缓存指标统计。JindoTools工具集 改进Jindo DistCp工具的分发机制，针对EMR集群内使用场景和非EMR集群环境使用场景，分别使用不同的发行包。...
资源估算 CU对应Serverless Spark底层系统的CPU计算能力。一个计算任务的CU使用量取决于该任务实际处理的数据量、计算复杂程度、处理的数据分布情况，以及是否开启 Fusion引擎 加速。开启Fusion引擎加速后，当前不会有额外的资源成本增加，...
false SpotInstanceRemedy boolean 开启后，当收到抢占式实例将被回收的系统消息时，伸缩组将尝试创建新的实例，替换掉将被回收的抢占式实例。取值范围：true：开启补齐抢占式实例。false：不开启补齐抢占式实例。默认值：false。true ...
HBASE-HDFS服务 HDFS作为Hadoop生态系统的核心组件，提供了可靠的分布式文件存储功能。HBASE-HDFS服务通过使用HDFS作为其底层数据存储解决方案，继承了HDFS的所有原生特性和优势，未对其基本架构进行修改。HDFS更多信息介绍，请参见 HDFS...
灵活扩缩容：支持根据业务需求快速增加或减少特定计算组内的节点数量，无需重新分配数据，既满足了业务增长的需要，又减少了对现有业务的干扰，提升了系统的可扩展性和灵活性。高效的弹性伸缩：计算组内可以配置弹性伸缩规则，按需自动的...
在使用EMR StarRocks时，您可以根据业务负载和性能需求的动态变化，灵活地增加或减少集群中Backend（BE）节点的数量，以实现资源的最优配置和系统的高效运行。本文为您介绍如何扩容和缩容StarRocks集群的BE节点。前提条件 已创建集群，详情...
客户安全责任 客户负责正确配置和使用阿里云提供的安全能力和产品服务，以构建其云上应用和业务系统的安全。包括以下内容：基于阿里云公告及提供的补丁，及时对EMR大数据服务组件进行漏洞修复。负责数据的备份、加密，并对EMR产品中使用的...
例如，既支持与Block模式一致的使用方式，也支持原有OSS文件系统的使用方式，以满足用户不同的需要，详情请参见 JindoFS缓存模式使用说明。支持权限 Block模式支持Unix权限和Ranger权限两种文件系统权限功能：Unix权限：可以使用文件的777...
背景信息 Quick BI是由阿里云提供的一款全场景数据消费式的BI平台，无缝对接各类云上数据库和自建数据库，大幅提升数据分析和报表开发效率。您只需在Quick BI中添加StarRocks数据源并成功连接，然后可以在Quick BI上进行数据的分析和展示。...
Quick BI 的数据安全分为两个方面，一是用户的业务数据，二是 Quick BI 的元数据。用户的业务数据指的是用户在 Quick BI 中用以分析的数据，是 Quick BI 分析的目标。Quick BI 采用直连数据源的方式提供实时在线分析服务，用户的业务数据并...
本文将通过一张图，帮助您快速了解Quick BI的版本对比及购买步骤。
报表产出效率低，维护难 后台分析系统的数据报表变更，编码研发周期长，维护困难。图表效果设计不佳，人力成本高 使用HighChart等工具做报表，界面效果不佳，人力维护成本高。推荐搭配使用 RDS+Quick BI 报表与自有系统集成 某运输公司期望...
YARN是Hadoop系统的核心组件，主要功能包括负责在集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的Master...
仪表板的智能问答功能支持通过简单的自然语言，从指定的数据集中快速生成分析图表，并保存到仪表板中。本文为您介绍智能问答的使用方法。重要 仪表板内的智能问答_公测期结束，后续不再支持使用及订购；自24年4月1日起，新客户不再支持该...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
背景信息 FUSE是Linux系统内核提供的一种挂载文件系统的方式。通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/namespace/方式访问数据。...
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...