LCU）result.quota.instance.quota Integer 配额容量（单位：GB）result.quota.instance.outOfLimit Boolean 是否超出配额 result.quota.instance.tables Object 各数据表使用统计结果 键名为表名，值为使用容量 result.quota.qps Object ...
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。接下来，查询规划器会使用这些统计信息来帮助...
跨源两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验字段：选择物理表中的需要校验的字段。数据源类型：选择该物理表的数据源类型。数据源：选择该物理表...
跨源两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验字段：选择物理表中的需要校验的字段。数据源类型：选择该物理表的数据源类型。数据源：选择该物理表...
选择合适的事实表和维度表 维度表和事实表的概念，请参见名称解释，事实表和维度表的指导原则如下：维度表的大小通常不超过1万行。事实表的大小通常比较大，比如千万、亿等。选择合适的一级分区键 一级分区键通过 DISTRIBUTE BY 来指定，...
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
这里字段比较少可能还不觉得什么，实际业务里面表的字段往往都是几十上百个字段，让用户手动敲这么多字段定义是非常耗时的。而有了Create Table Like Mapping的语法，这个工作量可以大大减少,它的语法如下：create external table dla_...
优化analyze table逻辑，避免对GSI做统计信息采集。统计信息支持对未采集到的时间列数据进行合理预测。优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大时，建表的速度。优化部分场景下数据迁移过程...
如果统计信息不准或者没有统计信息，优化器有可能会生成执行效率很差的执行计划，例如，对于一个具有索引且行数很多的数据表来说，以索引列为where条件对数据表进行点查，如果统计信息失效，那么优化器可能不会使用索引对数据表进行查询，...
性能调优 如果有分页的需求，怎么做比较好？如果有导出的需求，怎么做比较好？如何优化数据同步速度？如何通过调整数据类型来提升查询性能？性能分析和资源评估 分区索引是如何提升查询RT和QPS的？如何评估查询性能？分片数量对查询和写入...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
本文介绍 AnalyticDB MySQL 统计信息的作用与分类，自动收集统计信息的机制，手动收集统计信息的方法，以及如何查看统计信息。功能介绍 查询优化器（Query Optimizer）将查询转换为执行计划，并交给执行引擎执行。执行计划的质量会影响查询...
CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更的同步。本文为您介绍CREATE DATABASE AS（CDAS）的使用方法，并提供了多种使用场景下的示例。背景信息 CDAS是 CTAS 语法的一个语法糖，用于实现整库同步、多表同步的功能。...
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
背景信息 PostgreSQL使用基于代价的优化器，优化路线使用统计数据而非固定的规则。对于一条SQL语句，优化器会去评估所有可能的代价并最终选择代价最低的去执行。优化器会尽力选择最好的执行计划，但由于其并不了解数据中可能存在的一些内在...
背景信息 PostgreSQL使用基于代价的优化器，优化路线使用统计数据而非固定的规则。对于一条SQL语句，优化器会去评估所有可能的代价并最终选择代价最低的去执行。优化器会尽力选择最好的执行计划，但由于其并不了解数据中可能存在的一些内在...
修复当使用CHECK TABLE检查单表时，系统只检查部分分库的问题。修复当存在大量RDS实例或分库时，DDL执行过程中偶发性的执行卡住问题。修复部分ORDER BY场景下，物理SQL转换错误的问题。修复跨库单表情况下，执行计划转换错误的问题。修复...
PostgreSQL权限模型规划 标准的PostgreSQL（专家权限模型）权限粒度划分比较细致，在使用之前需要对现有实例对象做如下权限规划：总共有多少个权限组。每个组的作用是什么。每个组包含哪些用户。哪些角色在什么时候可以删除表。每个组在...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计信息优化，建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区？一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他...
您可以重新创建一张分区表，使用动态分区SQL将源表数据导入至新分区表，详情请参见 插入或覆写动态分区数据（DYNAMIC PARTITION）。如何查看指定的分区是否存在？可以使用函数PARTITION_EXISTS查看指定的分区是否存在，更多函数信息，请...
如果表和列较多，如超1000列，并且统计信息更新时间在一周内，统计信息多天未更新属于正常现象，继续观察使用即可。新建的表导入数据会自动更新统计信息吗？通过 INSERT OVERWRITE 批量导入方式，数据导入完成后会立即自动收集基础统计信息...
执行逻辑 在每次导入事务提交后，SelectDB 将记录本次导入事务更新的表行数用以估算当前已有表的统计数据的健康度（对于没有收集过统计数据的表，其健康度为0）。当表的健康度低于60（可通过参数 table_stats_health_threshold 调节）时，...
您还可以使用performance_schema，设置相关的内存仪表（instrumentation），通过内存占用统计表查看内存占用。详情请参见 MySQL官方文档。要在实例启动时开启内存检测，您可以在控制台修改performance_schema参数，RDS MySQL 5.6设置为ON，...
新版数据表类型 旧版数据集底表类型 用户标签表 用户标签数据集底表 用户行为表（表结构稍有不同）行为数据集底表 订单明细表 RFM模型底表——交易数据 订单汇总表 RFM模型底表——客户数据 统计表-AIPL模型底表（从行为数据聚合得到）您...
汇总数据层DWS dws_业务大类英文缩写_数据域英文缩写_自定义_统计周期 e.g dws_ec_mbr_cnt_std 历史截至当日_存量会员数_cube统计表。汇总表_电商业务_会员域_xxx_历史截止当日。应用数据层ADS ads_业务大类英文缩写_主题域英文缩写_自定义...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
报错：Build desc failed:Column type:information_schema.sql_identifier can not translate into hologres type 问题原因：部分系统表的字段类型比较复杂，当前Hologres不支持。解决方法：不建议将复杂的系统表数据与Hologres表关联查询...
在大表上运行ANALYZE可能需要很长时间，用户可以只使用 ANALYZE table(column,.)为选择的列生成统计信息，例如收集用在连接、WHERE子句、SORT子句、GROUP BY子句或者HAVING子句中的那些列。对于一个分区表，用户可以在pg_partitions系统...
Hologres可通过DDL方式创建Hologres内部表，也可使用DataWorks提供的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建Hologres内部表。前提条件 工作空间已绑定Hologres引擎。详情请参见 绑定Hologres计算引擎。创建表的用户...
（比如：本表SQL执行输出与关联表SQL执行输出进一步的计算逻辑支持${result_1}和${result_2}的四则运算，支持使用abs取绝对值的运算比如：(${result_1}+5*abs(${result_1}-${result_2}))/2）逻辑表数据质量的强规则和弱规则有什么区别？...
使用 DISTRIBUTE BY+SORT BY、CLUSTER BY 排序方法进行数据排序前请查看表中数值的分布情况，对列值占比大的列进行重排，存储优化效果会比较好。表数据越大，进行数据重排后，存储优化效果会更好。使用示例 本文将MaxCompute公共数据集TPC-...
将出现大量空值和零值的统计汇总表，依据其空值和零值分布状况可以做适当的水平和垂直切分，以减少存储和下游的扫描数据量。空值处理原则 汇总类指标的空值：空值处理，填充为零，当前MaxCompute基于列存储的压缩技术不会由于填充大量空值...