SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.5.x）版本的更新内容。JindoFS OSS扩展和支持 ...
connector.name=hive-hadoop2 hive.metastore.uri=thrift:/xxxx:9083#xxxx为启动 hive 元数据服务的ip地址 hive.config.resources=path/to/core-site.xml#请替换为该节点上已挂载文件存储HDFS版的Hadoop core-site.xml路径 编译并替换JAR包...
OceanBase（公测中）Hive Catalog支持OSS-HDFS作为Hive写入端的存储 方便您集成OSS-HDFS构建Hive数仓。管理Hive Catalog 基于DLF的Hive Catalog支持创建非Hive表 您可以统一使用Hive Catalog管理不同的类型的表。Paimon支持能力提升 支持将...
使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。...
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...
支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认资源组到HDFS的网络链路比较复杂，建议您使用 独享数据集成资源组 完成数据同步任务。您需要确保您的独享数据集成资源组具备...
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
版本 选择Paimon数据源的来源版本，支持 EMR3.x Hive 2.3.5、EMR5.x Hive 3.1.x、CDH6.x Hive 2.1.1、CDP7.x Hive 3.1.3、亚信DP5.x Hive 3.1.0。数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：...
Hive MetaStore 元数据管理模块，此模块被其他引擎所依赖，用于存储Database和Table等元信息。例如，Spark和Presto均依赖此模块作为其元数据管理。Hive Client Hive客户端，直接利用该客户端提交SQL作业，根据其设置运行引擎配置，可以将...
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
AnalyticDB MySQL湖仓版（3.0）支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。...
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
MaxCompute、RDS for MySQL、RDS for SQL Server、AnalyticDB for MySQL 2.0、AnalyticDB for PostgreSQL、RDS for PostgreSQL、RDS for PPAS、Data Lake Analytics、Hive，对象存储 OSS、Alibaba PolarDB（分布式版DRDS、PolarDB-X）、...
hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/path'"Hive UDF和第三方包 Hive lib目录下放置三方包导致冲突 原因分析：在Hive lib目录（$HIVE...
例如存储路径为 oss:/emr/jars/scan.hive。准备测试数据 您可以通过下面的地址下载作业需要的资源，然后将其上传至您OSS对应的目录。资源下载：uservisits。在E-MapReduce中创建Hive作业，详情请参见 Hive作业配置。运行作业 单击 运行 以...
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成Map/Reduce任务来执行。操作步骤 初始化Spark。val spark:SparkSession=SparkSession.builder().config("hive.metastore...
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群，支持OSS-HDFS（JindoFS服务）作为数据存储，提供缓存加速服务和Ranger鉴权功能，使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce（简称EMR）...
本文主要介绍如何使用DLA Spark访问用户VPC中的Hive集群。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请...
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
Hive scratch目录 Hive会把一些临时输出文件和作业计划存储在scratch目录，可以通过设置hive-site的hive.exec.scratchdir把地址指向到JindoFS，也可以通过命令行传参。bin/hive-hiveconf hive.exec.scratchdir=jfs:/emr-jfs/scratch_dir ...
说明 请替换命令中的为您实际在OSS控制台上创建的Bucket名称，为您的数据实际存储目标，本示例中的地址为 oss:/<yourBucketName>/hive/userdata/。在Hive命令行中，查询数据进行验证。示例1 SELECT userid,movieid,rating,unix_timestamp()...
本文为您介绍如何使用Flume同步EMR DataFlow集群的数据至EMR DataLake集群的Hive。前提条件 已创建DataLake集群，并且选择了Flume服务，详情请参见 创建集群。已创建DataFlow集群，并且选择了Kafka服务，详情请参见 创建集群。操作步骤 ...
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
Hive的文件基本上都是存储在HDFS上，而HDFS上的文件，都是分块的，所以具体的Hive数据文件在HDFS上分多少块，可能对应的是默认Hive起始的Task的数量，使用 default_mapper_num 参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...
修改了E-MapReduce控制台上，Hive服务配置页面的 hive-env 页签的配置项名称为大写，便于用户使用。优化文件系统与MetaStore不一致时写Hive表的报错信息。Hive on JindoFS（Block）支持批量元数据优化功能，默认未开启。Ranger 修复了...
Presto配置修改参考上述Hive配置修改并重启服务，需注意修改文件为hive.properties（Presto仅限于EMR 5.8.0/3.42.0及以上版本支持该功能）Impala配置不需要单独对Impala做此修改，它使用Hive的配置，仅修改Hive配置即可。
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
创建Hive Catalog Hive Catalog会同步元数据到Hive MetaStore中。在Hive Catalog中创建的表可以直接在Hive中查询。Hive查询Paimon，详情请参见 Paimon与Hive集成。spark-sql-conf spark.sql.catalog.paimon=org.apache.paimon.spark....
方式二：在配置文件中指定OSS-HDFS服务路径 您可以在Hive Metastore的 hive-site.xml 配置文件中设置 hive.metastore.warehouse.dir 到OSS-HDFS服务路径，然后重启Hive Metastore，后续创建的数据库和数据库下的表均默认存储于OSS-HDFS服务...
将 slb.keytab 传输到集群所有HiveServer2服务所在节点，使用ktutil工具将 slb.keytab 中存储的Principal导入到各个节点/etc/ecm/hive-conf/hive.keytab 中，执行以下命令。ktutil rkt/tmp/slb.keytab wkt/etc/ecm/hive-conf/hive.keytab ...
管理Hive Catalog 表格存储OTS Source Connector发布 支持读取OTS的增量Log。表格存储Tablestore源表 JDBC Connector发布 内置社区JDBC Connector。JDBC源表 JDBC结果表 JDBC维表 RocketMQ源表支持并发数大于Topic分区数 该模式可以让用户...
背景信息 Spark、Hive和Presto上服务支持的引擎和存储格式如下所示。引擎 ORC Parquet Spark2 支持 支持 Presto 支持 不支持 Hive2 不支持 支持 使用限制 不支持Binary类型。不支持分区列存储在文件中的分区表。不支持EMR 5.X及后续版本的...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...