鉴于阿里云ECS所使用的部分操作系统镜像即将停止，或已处于停止支持状态，这类情况将对EMR的正常运行与维护产生直接影响。本文为您介绍阿里云ECS中即将或已停止支持的操作系统，以及受影响的EMR版本。即将或已停止支持的操作系 第三方操作...
Flink社区已提供了丰富的开源Connector，旧版Flink VVR中的各类自研Connector将停止功能更新。您可以通过使用开源Connector便捷地对接各种数据源和下游系统。说明 EMR-5.17.0、EMR-3.51.0版本开始使用Apache Flink 1.17.2版本，版本说明请...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
支持的开源组件有限。说明 该方式目前支持的服务如下：YARN、HDFS、SPARK2、SPARK3、FLINK、HBASE、IMPALA、TRINO、PRESTO、TEZ、RANGER。【外网访问】优点：开启端口少，只需开启Knox的端口8443。提供外部访问的能力，适合需要远程访问的...
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
引擎侧 引擎版本 说明 esr-2.2(Spark 3.3.1,Scala 2.12)Fusion加速 支持26种常见的Spark算子，详情请参见 算子。支持240种常见的Spark表达式，详情请参见 表达式。支持12种基本数据类型，详情请参见 数据类型。支持Celeborn。支持读取...
本文汇总了使用Zookeeper时的常见问题。ZooKeeper服务不稳定，发生异常重启等情况，怎么办？如何平滑迁移ZooKeeper的数据目录？ZooKeeper服务不稳定，发生异常重启等情况，怎么办？造成服务不稳定的情况可能有很多，最常见的情况是znode...
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
本文汇总了E-MapReduce（简称EMR）计费的常见问题。说明 ECS实例续费问题，请参见 续费常见问题。E-MapReduce是否支持自动续费？如何查看EMR集群和所属的ECS实例的到期时间？EMR集群或是集群中的ECS实例即将到期时，是否有提醒机制？EMR...
本文汇总了Hudi使用时的常见问题。Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询...
本文汇总了Flume使用时的常见问题。Hive日志数量少于实际日志数量？终止Flume进程时出现DeadLock报错，如何处理？如何处理强制退出后，FileChannel偶发性异常？Hive日志数量少于实际日志数量？问题现象：通过Flume将日志写入Hive，发现Hive...
本文汇总了使用Impala时的常见问题。Impala 3.4使用JDBC查询Impala 10秒提示会话超时，该怎么办？Impala无法找到Hive新增的表，该怎么办？Impala写入Hive表数据的时候，是否可以修改写入文件的owner？如何调整Impalad可使用的节点内存总量...
本文汇总了Alluxio使用时的常见问题。错误提示：No FileSystem for scheme:alluxio 如何排查Alluxio服务状态异常的问题？如何对OSS进行缓存加速？如何配置Alluxio参数？错误提示：No FileSystem for scheme:alluxio 如果您是在创建E-...
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Alluxio Shell命令来对Alluxio中的文件进行操作，也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群，并选择了Alluxio服务...
本文为您介绍Alluxio管理员的常见命令。前提条件 已创建集群，并选择了Alluxio服务，详情请参见 创建集群。已登录集群，详情请参见 登录集群。背景信息 管理员的常见命令如下表所示。命令 功能 backup 创建Alluxio元数据的备份。doctor ...
本文汇总了DeltaLake使用时的常见问题。为什么建表失败？流式写入Delta时产生了很多的小文件怎么办？Optimize执行时间很长是什么原因？为什么Optimize失败了？应该如何处理？执行了Optimize，为什么还有很多小文件？执行了Vacuum，为什么...
本文汇总了EMR Doctor使用时的常见问题。哪些集群类型支持EMR Doctor功能？EMR Doctor在安装和升级过程中，是否会对集群组件和集群任务产生影响？EMR Doctor都会采集哪些数据？EMR Doctor收费吗？采集操作会对任务的运行会产生什么影响？...
本文汇总了Airflow使用时的常见问题。如何排查调度失败的任务？如何手动重启失败的DAG？如何在DAG中使用集群模板？如何确定更新的DAG已生效？如何管理Airflow的配置项？如何为新增用户添加权限？如何修改时区配置？如何排查调度失败的任务...
本文汇总了使用EMR Workflow时的常见问题。报错“The bucket you access does not belong to you”问题 如何在仅部分worker节点安装了依赖环境的集群中执行PySpark？报错“current cpu load average 0.0 is too high or available memory ...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
与自建Hadoop集群相比，开源大数据开发平台EMR提供弹性资源管理和自动化运维，降低运维复杂度，通过用户管理、数据加密和权限管理等为数据安全保驾护航，同时EMR集成了丰富的开源组件并打通开源生态与阿里云生态，便于快速搭建大数据处理和...
阿里云CLI 支持 阿里云命令行工具（Alibaba Cloud Command Line Interface）是在Alibaba Cloud SDK for Go之上构建的开源工具。阿里云CLI提供了对阿里云云产品OpenAPI的直接访问。您可以在命令行Shell中，使用 aliyun 命令与阿里云服务进行...
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
除了Spark，常见的OLAP引擎包括Presto和Impala等。Spark 3.0的主要特性在EMR中的Spark 2.4版本已支持，更多特性详情请参见 Spark SQL Guide。流计算 流计算主要应用于实时大屏、实时风控、实时推荐和实时报警监控等。流计算主要包括Spark ...
本文介绍如何排查EMR Kafka服务异常和常见的异常处理方法。排查异常 说明 本文以Kafka Broker服务为例说明。登录EMR on ECS控制台，确认服务状态。说明 当组件状态不是 运行中 或者健康状态不是 良好，则说明组件存在异常。查看服务日志。...
语法 SELECT watermark(projectItem,durationSpec)as watermarkItem,projectItem[,projectItem]*FROM tableExpression WATERMARK主要是为了解决数据流场景中常见的数据延迟问题。Spark在Aggregate和Join计算过程中，计算引擎会维护中间...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
本文汇总了Sqoop使用时的常见问题。导入RDS数据至EMR时，时间字段显示提前8小时如何处理？问题描述：例如，在云数据库RDS数据源中，数据表 test_table 中包含时间戳（TIMESTAMP）字段。您可以执行以下命令，导入 test_table 中的数据至HDFS...
本文汇总了使用E-MapReduce的元数据管理时的常见问题。报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？删除Hive Database时提示“java.lang.IllegalArgumentException:java....
本文为您汇总了使用JindoDistCp时的常见问题。list性能低 问题说明 如果您在使用JindoDistCp的过程中，发现list性能较慢，且遇到如下信息：Successfully list objects with prefix xxx/yyy/in bucket xxx recursive 0 result 315 dur ...
本文汇总了Hive使用时的常见问题。说明 对于Hive作业报错或其他异常问题请参见 Hive作业异常排查及处理。对于Hive Metastore和HiveServer等服务相关的异常请参见 Hive服务异常排查及处理。作业长时间处于等待状态，如何处理？Map端是否读取...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
灵活可控：用户可登录 ECS 自定义操作。提供集群快速创建、弹性伸缩、配置管理和可视化运维能力。稳定易用：100%采用社区开源组件并基于云环境优化，提高性能并避免版本兼容问题。分钟级搭建大数据计算环境并支持一键调整资源规模。成本...
EMR-5.11.0及之前版本，EMR-3.45.0及之前版本 重要 如果您的EMR版本较低，没有相应的LDAP认证配置按钮，则需要参考开源软件的社区文档进行手动配置，以启用LDAP认证功能。在 组件列表 区域，选择 SparkThriftServer 操作列的 enableLDAP。...
HDFS概述 HDFS常用命令 JVM内存调优 HBase HBase是一种分布式、面向列的开源数据库，其基于Hadoop文件系统构建，旨在为大型数据集提供低延迟的随机读写访问和高可靠性存储。使用HBase快照 使用HBase Shell 常见问题和故障诊断 Celeborn ...