开源html5报表系统-开源html5报表系统文档介绍内容-移动阿里云

什么是EMR on ECS

EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...

扩容集群

EMR Serverless StarRocks不仅无缝兼容开源StarRocks，并且具备自动升级软件版本的功能，可省去手动管理版本的繁琐与风险。迁移方案详情，请参见迁移StarRocks数据至EMR Serverless StarRocks。操作步骤重要集群扩容操作不会重启存量...

EMR Studio（已不支持新购）

EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...

DeltaLake

对比项 Data Warehouse Data Lake Delta Lake 架构计算存储一体或分离计算存储分离计算存储分离存储管理严格、非通用原生格式通用格式、轻量级场景报表、分析报表、分析、数据科学报表、分析、数据科学灵活性低高较高数据...

Zeppelin常见问题

Zeppelin执行时无法正常启动Interpreter 影响版本：EMR-5.6版本。报错现象：报错信息如下。org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式：您可以参照以下命令...

Flink（VVR）作业配置

VVR提供企业版StateBackend，性能是开源版本的3~5倍。在EMR Hadoop集群中，您可使用VVR引擎和EMR数据开发功能提交作业。VVR支持开源Flink 1.10版本，默认使用商业GeminiStateBackend，具备以下特性：采用创新的数据结构，提高随机查询、...

SQL与函数参考

EMR Serverless StarRocks兼容开源StarRocks的SQL语法和函数，您可以参考以下文档进行开发设计。StarRocks版本参考文档 3.3系列 SQL参考函数参考 3.2系列 SQL参考函数参考 2.5系列 SQL参考函数参考

SystemDisk

名称类型描述示例值 object Category string ...PL1（默认）：单盘最高随机读写 IOPS 5 万。PL2：单盘最高随机读写 IOPS 10 万。PL3：单盘最高随机读写 IOPS 100 万。默认值：PL1。PL1 Count integer 每个节点系统盘数量，默认值为 1。1

产品形态选型

适用场景 OLAP 多维分析：支持灵活的多维分析与即席查询（Ad Hoc），广泛应用于运营报表、用户画像、指标中台、BI 分析等场景，助力数据驱动决策。实时数据仓库：秒级数据摄入与更新，适用于实时库存监控、订单追踪、用户行为分析、实时风...

技术支持的范围和方式

阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...

基本概念

本文介绍开源大数据平台E-MapReduce使用过程中遇到的常用名词的基本概念和简要描述。集群 E-MapReduce产品中的一个独立的机器组合，为上层业务提供一些基础的引擎服务。一个E-MapReduce集群是由一个或多个阿里云ECS实例组成的。ECS实例在E...

Kafka Manager

说明当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...

登录集群

您可以通过SSH方式或者Workbench等其他连接...相关文档为了确保集群安全，Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放，您可以通过以下方式访问开源组件的Web界面：SSH隧道访问开源组件Web界面通过控制台访问开源组件Web界面

Flink DataStream参考

上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本开源Flink的上下游存储，详情请参见 DataStream Connectors。EMR-5.17.0&3.51.0之前版本 DataFlow集群中新增支持的上下游存储，请参见下表。Connector版本 EMR版本 Connector类型文档...

OpenLDAP 用户管理

EMR用户可以用于访问链接与端口，查看开源组件Web UI时的用户身份认证，也可以在开启组件LDAP认证之后进行身份认证。如果将Ranger的用户源设置为LDAP，则可以对用户管理中的用户进行权限控制。如果是高安全集群，EMR用户可以用于Kinit操作...

Celeborn

阿里云Spark已完成Celeborn适配，开源Spark 3.5版本已完成Celeborn适配。spark.celeborn.shuffle.writer Celeborn的wirter支持的模式：hash（默认值）：在Partition并发度过大的情况下会使用较多的内存。sort：使用固定大小内存，在...

查看节点健康状态

存在隐患：0.1=u 0.5 异常：0.5=u%系统故障事件检测是否发生底层系统故障。无阈值-CPU使用率检测当前节点CPU使用率（u）。存在隐患：95=u 99 异常：99=u%磁盘Inode使用率检测磁盘Inode使用率（u）。存在隐患：90=u 99 异常：99=u%内存...

Kerberos

从EMR-3.43.0和EMR-5.9.0版本开始，E-MapReduce支持创建高安全类型的集群。在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息集群开启...

管理日志

E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件已在EMR控制台上创建集群，具体操作请参见创建集群。已开通日志服务。使用限制 ...

HDFS Web UI介绍

访问HDFS Web UI 您可以通过SSH隧道和控制台两种方式访问HDFS Web UI，具体操作请参见通过SSH隧道方式访问开源组件Web UI 和访问链接与端口。NameNode服务地址版本访问地址说明 hadoop 3.x http://${namenode_hostname}:9870${...

内置函数

内置函数清单 Serverless Spark 兼容开源内置函数的使用，开源具体函数说明请参见 Spark SQL Functions。此外，Serverless Spark 还支持多个特有内置函数，以下是特有支持的内置函数及其相关说明。函数说明 PARQUET_SCHEMA 获取Parquet...

2025-01-20版本

引擎侧版本号说明 esr-4.0.0(Spark 3.5.2,Scala 2.12)esr-3.1.0(Spark 3.4.3,Scala 2.12)esr-2.5.0(Spark 3.3.1,Scala 2.12)引擎版本：正式支持Spark 3.5.2。Fusion 加速 CacheTable优化。支持读CSV和TEXT格式的表。支持读取和写入复杂...

ECS应用角色

EMR on ECS版本不同时，默认的ECS应用角色不同：EMR-3.32.0之后版本和EMR-4.5.0之后版本、EMR-5.x系列版本：ECS应用角色默认使用AliyunECSInstanceForEMRRole，该角色包含的权限点请参见 ECS应用角色（EMR 3.32之后、EMR 4.5之后版本以及...

EMR on ACK商业化公告

您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。收费标准阿里云EMR on ACK正式商业化后，将根据集群...

配置连接器

增加自定义连接器您可以使用EMR Presto默认提供的5个占位连接器，增加自定义连接器，分别为connector1、connector2、connector3、connector4和connector5，即EMR控制台的Presto服务的配置页面的 connector1.properties、connector2....