本文为您介绍EMR on ACK的Presto提供的内置连接器，以及如何修改连接器。暂不支持增加自定义连接器。前提条件 已在EMR on ACK控制台上创建Presto集群，详情请参见 创建集群。EMR Presto内置连接器 EMR Presto默认提供了开箱即用的内置连接...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
AddCidrToConnectionPool 连接池增加连接IP段 连接池增加连接IP段，主要用于动态IP增加IP方式，区别于单个卡IP添加方式。UpdateConnectionPoolAttribute 更新连接地址池 更新连接地址池。ListConnectionPools 查询云连接地址池 查询云连接...
本文为您介绍E-MapReduce（简称EMR）的Presto提供的内置连接器，以及如何修改和添加连接器等操作。EMR Presto内置连接器 EMR Presto默认提供以下几种开箱即用的内置连接器。连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的...
创建了包含Presto服务的集群后，您可以通过命令行方式连接至Presto，从而进行简单快捷的数据查询操作。前提条件 已创建EMR-3.45.0及后续版本和EMR-5.11.0及后续版本，且选择了Presto服务的集群，详情请参见 创建集群。普通集群 说明 如果...
SQL Editor是阿里云EMR Serverless StarRocks提供的一个交互式查询编辑器。您可以直接在控制台上编写、运行和管理SQL查询语句，无需下载或安装任何...相关文档 如需查看并分析数据库中发生的所有操作，请开启审计日志，详情请参见 审计日志。
该元数据存储在数据库（例如，MySQL）中，并通过Hive Metastore Service（HMS）访问。一种称为HiveQL的查询语言。该查询语言在分布式计算框架（例如，MapReduce或Tez）上执行。前提条件 已创建EMR-3.45.0及后续版本和EMR-5.11.0及后续版本...
查询计划（Query Plan）Query Plan是FE通过解析SQL生成的，负责组织算子（Join、Order、Aggregation）之间的关系，可以为数据库管理者提供一个宏观的视角，从而获取查询执行的相关信息。执行详情（Query Profile）Query Profile是BE执行...
本文为您介绍E-MapReduce（简称EMR）的Trino提供的内置连接器，以及如何修改和添加连接器等操作。EMR Trino内置连接器 EMR Trino默认提供以下几种开箱即用的内置连接器。连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据...
已自建MongoDB数据库。更多信息，请参见 MongoDB入门。使用限制 仅Serverless Spark以下引擎版本支持本文操作：esr-4.x：esr-4.1.0及之后版本。esr-3.x：esr-3.1.0及之后版本。esr-2.x：esr-2.5.0及之后版本。操作流程 步骤一：获取 ...
Flink社区已提供了丰富的开源Connector，旧版Flink VVR中的各类自研Connector将停止功能更新。您可以通过使用开源Connector便捷地对接各种数据源和下游系统。说明 EMR-5.17.0、EMR-3.51.0版本开始使用Apache Flink 1.17.2版本，版本说明请...
例如，创建名为database_on_jindofs，location为 jfs:/emr-jfs/warehouse/database_on_jindofs 的Hive数据库。CREATE DATABASE database_on_jindofs LOCATION 'jfs:/emr-jfs/hive/warehouse/database_on_jindofs';修改Database的Location到...
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）EMR-5.17.0&3.51.0及之后版本 开源Flink的上下游存储，详情请...
OpenLDAP是LDAP协议（Lightweight Directory Access Protocol）的开源实现，在EMR集群中主要提供用户管理和身份认证的功能。服务集成OpenLDAP 在EMR集群中，Knox服务默认与OpenLDAP服务对接。当您通过EMR控制台的 访问链接与端口 功能访问...
网络连接 否 如果需要添加阿里云源地址外的PyPI库，请选择合适的网络连接，创建运行环境的时候将使用该网络连接来访问源地址。创建网络连接的具体操作，请参见 EMR Serverless Spark与其他VPC间网络互通。Python版本 是 默认使用Python 3.8...
Apache Celeborn是阿里云开源的中间数据服务，旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎，支持Spark、Flink、MapReduce(MR)和 Tez，并且是目前最流行的Remote Shuffle Service的实现。Celeborn架构 ...
zk count info 参数 指标 描述 AliveConnections zk_num_alive_connections ZooKeeper存活的连接数。OutstandingRequestsCount zk_outstanding_requests ZooKeeper排队请求的数量，当ZooKeeper超过了它的处理能力时，这个值会增大。...
EMR Trino提供了独立的Delta连接器，在E-MapReduce集群上支持了较为完整的数据湖特性并进行了特性扩展。背景信息 Delta Lake是DataBricks公司推出的一种数据湖方案，以数据为中心，围绕数据流走向推出了一系列功能特性，详情请参见 Delta ...
背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，所以以下场景适合使用数据湖元数据：当您的EMR集群均为生产环境时，您无需维护独立的元数据库。横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 ...
Iceberg是一种开放的数据湖表格式，使用Iceberg连接器可以查询Iceberg格式的数据文件。背景信息 Iceberg的详细信息，请参见 Iceberg概述。前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，详情请参见 创建集群。使用限制 ...
如果您实例的时区与您业务实际所在的时区不一致，则需要修改实例的时区，以确保数据处理过程中时间信息的准确性以及跨时区展示的一致性。使用限制 仅当小版本的最后三位版本号大于或等于1.6.0时，系统才支持修改时区。例如，当小版本为3.3....
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables...
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables...
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables...
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db][dbName]功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables...
EMR Serverless Spark支持连接外部Hive Metastore服务，从而便捷地访问存储在Hive Metastore中的数据。本文将介绍如何在EMR Serverless Spark中配置和连接外部Hive Metastore服务，以便在工作环境中高效管理和利用数据资源。前提条件 已...
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]dbName 功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables ...
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]dbName 功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables ...
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]dbName 功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables ...
jindo table-showPartition-t db1.t1-p date=2020-10-12-listTables 语法 jindo table-listTables[-db]dbName 功能 展示指定数据库中的所有表。不指定[-db]时默认展示default库中的表。示例：展示default库中的表。jindo table-listTables ...
在 VPC对等连接 页面，找到目标VPC对等连接，此时VPC对等连接的状态为 接收中。根据实际场景选择是否接收请求：接收 请求：VPC对等连接的状态由 接收中 变为 更新中。待VPC对等连接激活成功后状态变为 已激活，表明该VPC对等连接可以正常...
SSL在传输层对网络连接进行加密，提供端点验证和数据加密，确保客户端与StarRocks实例之间的通信数据不会被未经授权的用户读取，从而增强数据的安全性与完整性。前提条件 已创建实例，详情请参见 创建实例。使用限制 仅3.3.8-1.94-1.7.12及...
Impala集成Kudu后，您可以使用Impala访问Kudu的数据表。本文为您介绍Impala如何集成Kudu。前提条件 已创建集群，并且选择了Impala和Kudu服务，详情请参见 创建集群。操作步骤 控制台方式 在Impala服务的 配置 页面，新增以下配置项，具体...
本章节介绍如何连接外部元数据服务，确保数据湖和数据仓库中的元数据一致性。连接外部Hive Metastore Service
当Producer设定 request.required.acks 为all或-1，且写入副本数大于等于2时，数据写入才能成功。参数说明 您可以在E-MapReduce控制台的 配置 页面，查看Kafka的服务配置。配置项 描述 zookeeper.connect Kafka集群Zookeeper的连接地址。...
对于M*N次的连接数，在M和N数千的规模下，作业基本无法完成。EMR推出的RSS服务，可以优化上述Spark Shuffle方案的问题，完美支持ACK环境下的Dynamic Allocation。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 步骤一：...
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即 监控诊断 页面的“健康诊断”和“集群日报”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化...
EMR on ECS发布基于大模型构建的新版监控诊断功能 适用客户 全网用户 新增功能/规格 EMR on ECS新版监控诊断是基于大模型构建的智能运维辅助功能，结合了阿里云EMR团队在开源大数据领域的知识经验、阿里云EMR可观测能力和技术专家的诊断...
数据库功能 在数据库功能页中，会按数据库展示该数据库下的表详情和任务详情。表 展示当前数据库下的所有表（包括物化视图）单击对应的名称，可以逐层查看相关的表信息、分区信息、节点分片情况、分片信息。任务 展示当前数据库下的所有...