说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL Session odps.sql.udf.getjsonobj.new 设置GET_JSON_OBJECT函数的返回行为是否开启保留原始字符串的方式。自2021年1月21日及之后...
说明 如果生成的动态分区个数很少，建议将值设为False，以避免数据倾斜。INSERT INTO INSERT OVERWRITE SQL Session odps.sql.udf.getjsonobj.new 设置GET_JSON_OBJECT函数的返回行为是否开启保留原始字符串的方式。自2021年1月21日及之后...
true 从Hudi 0.11.0版本开始，开启该参数将减少小文件的数量，但是可能有数据倾斜风险。write.bulk_insert.sort_input 是否将数据先按照partition字段排序再写入。true 从Hudi 0.11.0版本开始支持，当一个write task写多个partition，开启...
更新说明 SEMI JOIN支持MAPJOIN Hint，提高LEFT SEMI或ANTI JOIN的性能，为数据倾斜问题提供解决方案。SEMI JOIN（半连接）2020-10-30 MaxCompute支持SORT BY不带 DISTRIBUTE BY。更新说明 MaxCompute支持不带DISTRIBUTE BY的SORT BY，提供...
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
问题描述 Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException:INTERNAL:java.sql.SQLException:org.apache.spark.sql.catalyst.parser.ParseException，错误情况如下：问题原因 将spark数据源当作hive...
Hive输入组件用于读取Hive数据源的数据。同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、...
本实例展示如何将Hive数据加载到DLA Ganos进行分析。Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的...
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
Presto on ACK提供了自定义hosts功能，当Presto on ACK集群读取EMR on ECS集群的Hive数据时，该功能可以提供正确的域名解析配置。本文为您介绍如何配置hosts。背景信息 如果没有正确配置hosts，则可能遇到以下报错提示。java....
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过Hive数据迁移将Hive数据迁移至OSS。本文介绍如何添加Hive数据源，新建Hive迁移链路并启动任务，以及数据迁移后如何进行数据分析和管理数据迁移任务。功能介绍 AnalyticDB MySQL版 ...
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
问题描述 Quick BI连接hive数据源报错："Required field&39;client_protocol&39;is unset!Struct:TOpenSessionReq(client_protocol:null,configuration:{use:database=group3_dm}。问题原因 hive版本属于cdh hive，quick bi支持的是apache ...
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
AnalyticDB PostgreSQL版 提供的智能诊断数据倾斜功能，可以每小时定期自动诊断数据库内的所有表，并生成相应的诊断信息表，供您检测库内所有表的倾斜情况。注意事项 智能诊断数据倾斜功能仅支持存储弹性模式实例，且内核版本须满足以下...
本文以Hive数据源为例。CREATE EXTERNAL CATALOG hive_catalog properties("type"="hive","hive.metastore.type"="DLF");参数 是否必选 说明 type 是 数据源的类型。支持的数据源类型有hive、hudi、iceberg、deltalake。dlf.catalog.id 否 ...
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
本文介绍如何使用SQL访问Hive数据。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。开通步骤 登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击目标实例ID或者目标实例所在行 操作...
Reduce Task任务耗时，是否出现了数据倾斜？如何预估Hive作业并发量的上限值？为什么Hive创建的外部表没有数据？作业长时间处于等待状态，如何处理？您可以通过以下步骤定位问题：在EMR控制台的 访问链接与端口 页面，单击YARN UI所在行的...
问题描述 Dataphin集成任务同步成功，在即席查询中查询目标表报错："java.io.IOException:parquet.io.ParquetDecodingException:Can not read value at 0 in...解决方案 hive数据库作为输出组件时，表中所有字段必须全部映射。适用于 Dataphin
目前支持创建以下数据源的External Catalog：Hive数据源：用于查询Hive数据。Iceberg数据源：用于查询Iceberg数据。Hudi数据源：用于查询Hudi数据。使用External Catalog查询数据时，StarRocks会用到外部数据源的两个组件：元数据服务：...
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
本文为您介绍通过Hive UDTF迁移Hive数据的方法。准备事项 ⽹络环境要求。Hive集群各节点能够访问MaxCompute。MMA所在服务器能够访问Hive MetaStore Server、Hive Server。创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的...
数据倾斜导致的算子下盘 数据倾斜也是一种常见的会导致算子下盘的因素，数据倾斜会导致单个Segment上的数据量和计算量远远超过其他Segment，导致可用内存不够算子下盘。对于数据倾斜的检测和消除，请参见 数据倾斜诊断。
Hive数据源测试连接时也连接失败，提示报错信息“Too many connections”。问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta ...
问题描述 Dataphin同步Hive数据源Textfile格式表，可能会遇到以下问题：1.数据中存在与列分隔符相同的字符，这样会导致读取数据错位。2.数据中存在换行符，也会导致报错“脏数据”问题原因 本身Hive Textfile格式文件读取数据时是按照列...
接口说明 数据倾斜会影响数据库的运行速度，AnalyticDB PostgreSQL 版实例提供了 DescribeDBInstanceDataSkew 接口帮助您查看实例的数据倾斜情况，便于您及时消除数据倾斜。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名...
本实践以MySQL作为来源数据源，以Hive作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增MySQL数据源和Hive数据源，两个数据源支持的数据同步能力请参见 MySQL数据源、Hive数据源。已购买独享数据集成资源组，并为...
本文为您介绍如何新建CDH Hive数据抽样采集器。前提条件 已购买并创建DataWorks的独享调度资源组。详情请参见：新增和使用独享调度资源组。在工作空间绑定CDH引擎后，您才可以进行CDH数据抽样采集操作，详情请参见 绑定CDH计算引擎。已经...
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL...架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created','language':'zh-CN',};
数据集成支持离线集成、实时集成、整库迁移集成方式。本文为您介绍离线集成、实时集成、整库迁移支持的数据源类型...目标准数据源 MaxCompute、Kafka、Hive、DataHub 创建MaxCompute数据源 创建Kafka数据源 创建Hive数据源 创建DataHub数据源
环境准备 其他环境要求根据不同的数据源会有所不同，具体请根据实际情况参见 Hive数据迁移 或 MaxCompute数据迁移。安装Linux操作系统。安装JDK1.8及以上版本的Java。安装MySQL Server 5.7及以上版本。下载并安装与Hive版本对应的MMA工具。...
AnalyticDB PostgreSQL版 诊断与优化功能新增了关键指标页，用于查看数据膨胀、数据倾斜和索引使用统计信息。前提条件 实例资源类型为存储弹性模式，且内核版本为V6.3.10.1及以上版本。如何查看和升级内核小版本，请参见 查看内核小版本 和...
数据倾斜带来的影响 如果一级分区列选择不合理会导致用户表数据倾斜，带来如SQL查询长尾、后台数据上线超时和单节点资源不足等诸多问题，对查询性能影响非常大也会给用户带来资源的浪费。如何评估表数据是否倾斜 登录 分析型数据库MySQL版...
其他示例请参见 Hive数据源。CREATE CATALOG hudi PROPERTIES('type'='hms','hive.metastore.uris'='thrift:/172.21.0.1:7004','hadoop.username'='hive','dfs.nameservices'='your-nameservice','dfs.ha.namenodes.your-nameservice'='nn1...