产品优势 E-MapReduce（简称EMR）中的Presto与开源Presto比较，还具备如下优势：即买即用，快速完成上百节点的Presto集群搭建。弹性扩缩容，简单快速。与EMR软件栈完美结合，支持DLF和OSS或OSS-HDFS。无需运维，EMR提供一站式服务。基本...
EMR-3.27.x及之前版本使用Flink社区开源版本，EMR-3.27.x之后版本使用完全兼容开源Flink的企业版（VVR）。本文介绍如何配置Flink（VVR）类型的作业。背景信息 Flink企业版由Apache Flink创始团队官方出品，拥有全球统一商业化品牌。VVR提供...
更新内容 服务 变更点 Flink 已将开源Flink升级为企业版Ververica Platform，基于开源Flink 1.10深度定制，提供自研存储引擎Gemini等增值功能。Bigboot 升级至2.7.0版本。Delta 升级至0.6.0版本。解耦Delta与Spark代码。Spark 升级至2.4.5...
与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL和Optimize的支持等。下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE ...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以访问JindoFS Web UI功能。JindoFS 3.1.x版本提供总览信息（Overview）、Namespace信息、存储节点信息...
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。形态对比 阿里云EMR提供on ECS和on ACK两种方式，以...
因此请您仔细阅读本文，如果遇到文档中的操作导致的问题或故障，需由您自行承担后果 或提前购买 专家服务。高危操作（禁止）操作 可能的结果 建议 禁止删除或者修改etc/hosts目录下的hosts文件 集群关联不到节点上的服务，导致服务异常。...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0版本提供总览信息（Overview）、...
本文介绍如何排查EMR Kafka服务异常和常见的异常处理方法。排查异常 说明 本文以Kafka Broker服务为例说明。登录EMR on ECS控制台，确认服务状态。说明 当组件状态不是 运行中 或者健康状态不是 良好，则说明组件存在异常。查看服务日志。...
前提条件 通过SSH隧道方式才能访问Web UI，详情请参见 通过SSH隧道方式访问开源组件Web UI。访问JindoFS Web UI 打通SSH隧道后，您可以通过 http://emr-header-1:8101/ 访问JindoFS Web UI功能。JindoFS 3.0.x版本提供总览信息（Overview）...
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
管理数据生命周期 数据生命周期管理常见命令如下表所示。命令 功能 free 释放缓存中的数据。load 加载数据到Alluxio缓存中。persist 将Alluxio中的文件或目录持久化到底层文件系统中。setTtl 设置文件或目录的生存时间（TTL），单位为毫秒...
本文汇总了使用Impala时的常见问题。Impala 3.4使用JDBC查询Impala 10秒提示会话超时，该怎么办？Impala无法找到Hive新增的表，该怎么办？Impala写入Hive表数据的时候，是否可以修改写入文件的owner？如何调整Impalad可使用的节点内存总量...
当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。前提条件 已在EMR on ECS创建集群，详情请参见 创建集群。...缩容集群相关的问题，详情请参见 集群管理常见问题。API方式，详情请参见 DecreaseNodes-缩容。
常见Source如下：Avro Source：通过监听Avro端口获取Avro Client发送的事件。Avro是Hadoop提供的一种协议，用于数据序列化。Exec Source：通过监听命令行输出获取数据，例如 tail-f/var/log/messages。NetCat TCP Source：监听指定TCP端口...
加密数据盘后，数据盘上的动态数据传输以及静态数据都会被加密。如果您的业务存在安全合规要求，则可以使用该功能。...创建集群时，您还需要对集群进行软件配置、硬件配置、基础配置和确认订单，配置详情请参见 创建集群。
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
本文介绍E-MapReduce集群数据容灾和服务容灾能力。数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块...在任何一时刻，任一服务节点故障时，当前的服务节点都会自动进行切换，以保证服务不受影响。
本文为您介绍FE和BE的端口，以及如何访问端口。...18030 说明 EMR-5.9.0及以上版本、EMR-3.43.0及以上版本。...rpc_port 9020 BE->FE FE<-->FE FE上的Thrift Server端口。query_port 9030 FE用户 FE上的...常见问题 为什么8030、8040端口访问失败？
本文汇总了E-MapReduce（简称EMR）计费的常见问题。E-MapReduce是否支持自动续费？如何查看EMR集群和所属的ECS实例的到期时间？EMR集群已到期但是集群的ECS实例未到期时，会产生计费吗？如何解决？EMR计费模式是否可以转换？我确认订单后未...
此外，您还可以使用SSH连接创建隧道，以便通过Web浏览器查看开源组件的Web页面。本文为您介绍如何在Windows和Linux环境中使用SSH方式（SSH密钥对或SSH密码方式）登录集群。前提条件 已在EMR on ECS创建集群，详情请参见 创建集群。确保本地...
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
本文主要介绍通过简单规则来评估一般业务场景下EMR Kafka集群所需硬件资源。实际业务场景中，您可以通过这些规则评估出资源规模后，再结合负载测试来确定最终的集群规格。集群创建后，您也可以根据实际资源使用率通过集群扩容功能来变更...
本文为您介绍Alluxio管理员的常见命令。前提条件 已创建集群，并选择了Alluxio服务，详情请参见 创建集群。已登录集群，详情请参见 登录集群。背景信息 管理员的常见命令如下表所示。命令 功能 backup 创建Alluxio元数据的备份。doctor ...
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
本文汇总了使用E-MapReduce的元数据管理时的常见问题。报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？删除Hive Database时提示“java.lang.IllegalArgumentException:java....
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...