一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
LCU）result.quota.instance.quota Integer 配额容量（单位：GB）result.quota.instance.outOfLimit Boolean 是否超出配额 result.quota.instance.tables Object 各数据表使用统计结果 键名为表名，值为使用容量 result.quota.qps Object ...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
统计信息记录了数据库表中元数据的相关信息。查询优化器需要根据最新的统计信息，优化并执行查询计划，以提高数据库的性能。本文为您介绍在 云原生数据仓库AnalyticDB PostgreSQL版 数据库中如何使用 ANALYZE 命令手动收集统计信息。适用...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。接下来，查询规划器会使用这些统计信息来帮助...
普通表转换分区表分为以下三种方法：普通表转换为分区表 创建一个分区表，通过DTS在线迁移在同实例内把普通表的数据迁移到分区表，数据追齐之后，rename切换表名。在切换之前需要短暂的业务暂停确保增量数据追平后，切换表名。例如：普通表...
跨源两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 的统计方式描述。校验字段：选择数据表中的需要校验的字段。数据源类型：选择该数据表的数据源类型，支持的数据源类型请参见 ...
跨源两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 的统计方式描述。校验字段：选择数据表中的需要校验的字段。数据源类型：选择该数据表的数据源类型，支持的数据源类型请参见 ...
数据服务调用次数统计表dws_dataphin_service_api_mi新增api_ex_count字段。v3.11 物理表dim_dataphin_table新增is_external_table、schema_name字段。新增项目用户表dim_dataphin_project_user。安全分类表dim_dataphin_security_classify...
数据服务调用次数统计表dws_dataphin_service_api_mi新增api_ex_count字段。v3.11 物理表dim_dataphin_table新增is_external_table、schema_name字段。新增项目用户表dim_dataphin_project_user。安全分类表dim_dataphin_security_classify...
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
性能调优 如果有分页的需求，怎么做比较好？如果有导出的需求，怎么做比较好？如何优化数据同步速度？如何通过调整数据类型来提升查询性能？性能分析和资源评估 分区索引是如何提升查询RT和QPS的？如何评估查询性能？分片数量对查询和写入...
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
数据表管理：支持导入用户标签表、统计表、用户行为表、订单明细表、订单汇总表。说明 在V3中，不导入数据表，而是直接从数据表创建用户标签数据集、RFM模型、AIPL模型、行为数据集等。模型管理：支持标签模型、RFM模型（从订单明细表或...
CTAS支持实时同步数据及将上游表结构（Schema）变更同步至下游表，提升目标表创建与源表Schema变更的维护效率。本文为您介绍CTAS用法及实践场景。说明 建议使用 数据摄入YAML作业 完成数据摄入作业逻辑开发，已有的CTAS/CDAS SQL作业可以...
本文介绍 AnalyticDB for MySQL 统计信息的作用与分类，自动收集统计信息的机制，手动收集统计信息的方法，以及如何查看统计信息。功能介绍 查询优化器（Query Optimizer）将查询转换为执行计划，并交给执行引擎执行。执行计划的质量会影响...
CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更的同步。本文为您介绍CDAS的用法及实践场景。说明 数据摄入YAML作业：功能：通过YAML作业的方式实现将数据从源端同步到目标端。YAML作业优势：不仅覆盖CTAS和CDAS的关键能力...
背景信息 PolarDB PostgreSQL版（兼容Oracle）使用基于代价的优化器，优化路线使用统计数据而非固定的规则。对于一条SQL语句，优化器会去评估所有可能的代价并最终选择代价最低的去执行。优化器会尽力选择最好的执行计划，但由于其并不了解...
背景信息 PostgreSQL使用基于代价的优化器，优化路线使用统计数据而非固定的规则。对于一条SQL语句，优化器会去评估所有可能的代价并最终选择代价最低的去执行。优化器会尽力选择最好的执行计划，但由于其并不了解数据中可能存在的一些内在...
背景信息 PostgreSQL使用基于代价的优化器，优化路线使用统计数据而非固定的规则。对于一条SQL语句，优化器会去评估所有可能的代价并最终选择代价最低的去执行。优化器会尽力选择最好的执行计划，但由于其并不了解数据中可能存在的一些内在...
本文汇总了在使用Lindorm宽表引擎时可能会遇到的常见问题及其解决方案。问题汇总 连接问题 使用Lindorm-cli连接宽表引擎失败是什么原因？宽表引擎常见的端口号有哪些？小版本升级 升级宽表小版本有什么影响？需要多久？存储相关...
支持根据指标的统计粒度、包含的维度及所属来源表在资产目录中搜索指标。来源表为物理表的自定义指标支持预览数据及申请权限。管理准资产 资产上架 新增支持使用说明配置，开启后，可在资产目录详情中查看，便于表达资产的内容和价值。支持...
PostgreSQL权限模型规划 标准的PostgreSQL（专家权限模型）权限粒度划分比较细致，在使用之前需要对现有实例对象做如下权限规划：总共有多少个权限组。每个组的作用是什么。每个组包含哪些用户。哪些角色在什么时候可以删除表。每个组在...
您可以重新创建一张分区表，使用动态分区SQL将源表数据导入至新分区表，详情请参见 插入或覆写动态分区数据（DYNAMIC PARTITION）。如何查看指定的分区是否存在？可以使用函数PARTITION_EXISTS查看指定的分区是否存在，更多函数信息，请...
支持 ALTER TABLE PARTITIONS 语句，可使用该语句一键修改主表以及全局二级索引表的分区数（仅限于AUTO模式数据库下的默认主键拆分表使用）。支持用户自定义变量设置为表达式。新增分区表支持对含Scalar子查询的拆分条件，进行动态分区裁剪...
如果表和列较多，如超1000列，并且统计信息更新时间在一周内，统计信息多天未更新属于正常现象，继续观察使用即可。新建的表导入数据会自动更新统计信息吗？通过 INSERT OVERWRITE 批量导入方式，数据导入完成后会立即自动收集基础统计信息...
执行逻辑 在每次导入事务提交后，SelectDB 将记录本次导入事务更新的表行数用以估算当前已有表的统计数据的健康度（对于没有收集过统计数据的表，其健康度为0）。当表的健康度低于60（可通过参数 table_stats_health_threshold 调节）时，...
您还可以使用performance_schema，设置相关的内存仪表（instrumentation），通过内存占用统计表查看内存占用。详情请参见 MySQL官方文档。要在实例启动时开启内存检测，您可以在控制台修改performance_schema参数，RDS MySQL 5.6设置为ON，...
如下为具体的临时表名格式：数据表：tp_{变更ID}_ogt_{原表名}、tp_{变更ID}_g_{原表名} 心跳表：tp_{变更ID}_ogl_{原表名}、tp_{变更ID}_l_{原表名} 切换前的辅助表、切换后的原表：tp_{变更ID}_del_{原表名}、tp_{变更ID}_d_{原表名} ...
新版数据表类型 旧版数据集底表类型 用户标签表 用户标签数据集底表 用户行为表（表结构稍有不同）行为数据集底表 订单明细表 RFM模型底表——交易数据 订单汇总表 RFM模型底表——客户数据 统计表-AIPL模型底表（从行为数据聚合得到）您...
汇总数据层DWS dws_业务大类英文缩写_数据域英文缩写_自定义_统计周期 e.g dws_ec_mbr_cnt_std 历史截至当日_存量会员数_cube统计表。汇总表_电商业务_会员域_xxx_历史截止当日。应用数据层ADS ads_业务大类英文缩写_主题域英文缩写_自定义...
（比如：本表SQL执行输出与关联表SQL执行输出进一步的计算逻辑支持${result_1}和${result_2}的四则运算，支持使用abs取绝对值的运算比如：(${result_1}+5*abs(${result_1}-${result_2}))/2）逻辑表数据质量的强规则和弱规则有什么区别？...
使用 DISTRIBUTE BY+SORT BY、CLUSTER BY 排序方法进行数据排序前请查看表中数值的分布情况，对列值占比大的列进行重排，存储优化效果会比较好。表数据越大，进行数据重排后，存储优化效果会更好。使用示例 本文将MaxCompute公共数据集TPC-...
全量更新聚合表 明细表的数据无规律地更新，无法快速计算出增量数据，导致无法用新增数据更新聚合表，因此使用全量回刷方式写入聚合表。使用 INSERT OVERWRITE 的方式将数据全量回刷至聚合表：使用insert overwrite回刷全量的聚合表数据 ...
Hologres可通过DDL方式创建Hologres内部表，也可使用DataWorks提供的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建Hologres内部表。前提条件 工作空间已创建Hologres计算资源，并将其绑定至数据开发。详情请参见 旧版数据...