本文为您介绍构建MaxCompute数据仓库的流程。...如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度常作为派生指标的修饰词而存在。基本概念之间的关系和举例如下图所示。
filter String 否""过滤条件 groupKeys List[String]否[]分组统计的字段列表 aggFuncs List[AggFuncDesc]是-统计函数列表 orderBy List[OrderByDesc]否[]统计结果排序方式，支持多维排序。timeout Integer 否 10000 超时时间，单位毫秒 ...
单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确进行校验。两表字段值一致性比较 用于对不同表两个字段原值进行数据的对比...
单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确进行校验。两表字段值一致性比较 用于对不同表两个字段原值进行数据的对比...
如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度也被称为粒度，是维度或维度组合，一般用于派生指标构建，是汇总表的唯一性识别方式。基本概念之间的关系 具体示例
统计粒度：当表类型为汇总逻辑表且该表存在业务类型为维度的字段时展示，支持查看每个统计粒度信息，包括统计粒度名称、编码、描述、所属板块、主题域信息，同时，您可以执行如下操作：查看详情：单击跳转至 规划 数据架构 该业务实体页签...
汇总逻辑表属性包括基本信息、主键信息和汇总逻辑表的自定义参数。本文为您介绍如何配置汇总逻辑表的表属性。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入汇总逻辑表 属性 配置页面。在...
汇总逻辑表属性包括基本信息、主键信息和汇总逻辑表的自定义参数。本文为您介绍如何配置汇总逻辑表的表属性。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入汇总逻辑表 属性 配置页面。在...
说明 Hologres 从V1.3.22版本开始，支持PG系统表与业务创建的表进行Join，以及将系统表数据导出到Hologres表，但需注意，如果存在Hologres不支持的数据类型，则无法导出到Hologres表，也无法与Hologres表进行Join。如果有需求请您升级实例...
LCU）result.quota.instance.quota Integer 配额容量（单位：GB）result.quota.instance.outOfLimit Boolean 是否超出配额 result.quota.instance.tables Object 各数据表使用统计结果 键名为表名，值为使用容量 result.quota.qps Object ...
pg_buffercache插件用于统计单个表是否被缓存。无 优化 扩缩容扩容可写。重分布中的表写入性能优化。实例扩缩容 向量检索超时熔断。添加混合查询的超时熔断机制。向量检索 存储引擎metascan。新增GUC参数，开放metascan在insert into ...
向量引擎统计语法用于对指定表中的数据进行聚合查询和统计分析。通过配置统计函数、分组字段等参数，可以灵活地获取所需的数据统计结果。支持的统计操作包括但不限于最大值（max）、最小值（min）、平均值（avg）等，并且可以通过设置不同...
举例如下：dws_report（report汇总表）dws_user（user汇总表）创建汇总逻辑表 组成汇总表的统计指标有两种来源，具体如下：系统按照相同统计粒度，自动汇聚。派生指标提交后，系统会自动生成新的汇总表。派生指标组成部分，如下图所示。...
同时，全局临时表在表上和列上的统计信息也是在会话间独立的，这是为了让全局临时表相关的查询获得更优的查询计划。全局临时表支持手动进行vacuum 和analyze，用于清理垃圾数据和收集统计信息。示例 create global temp table gtt1(a int ...
同时，全局临时表在表上和列上的统计信息也是在会话间独立的，这是为了让全局临时表相关的查询获得更优的查询计划。全局临时表支持手动进行vacuum 和analyze，用于清理垃圾数据和收集统计信息。示例 create global temp table gtt1(a int ...
一、两表关联分析 选择任务类型：两表关联分析。关联左表：选择相应的待关联的数据表，左表一般为行为表。左表分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。左表分析字段：选择需要...
返回以下字段：表OID、模式名、表名、从该表中读取的磁盘块总数、缓冲区命中次数、该表上所有索引的磁盘块读取总数、该表上所有索引的缓冲区命中总数、在该表的辅助TOAST表（如果存在）上的磁盘块读取总数、在该表的辅助TOAST表（如果存在...
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
跨源两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 的统计方式描述。校验字段：选择数据表中的需要校验的字段。数据源类型：选择该数据表的数据源类型，支持的数据源类型请参见 ...
跨源两表字段统计值一致性比较：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 的统计方式描述。校验字段：选择数据表中的需要校验的字段。数据源类型：选择该数据表的数据源类型，支持的数据源类型请参见 ...
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
该方案支持将整库、单表甚至表内的某一字段存储在不同介质上，同时确保增删改查操作的全部透明性，并通过多级缓存机制保障性能的最小衰减。多态（冷热）分层存储是一种兼顾成本、性能与易用性的全空间数据管理方案，能够显著降低业务开发的...
该方案支持将整库、单表甚至表内的某一字段存储在不同介质上，同时确保增删改查操作的全部透明性，并通过多级缓存机制保障性能的最小衰减。多态（冷热）分层存储是一种兼顾成本、性能与易用性的全空间数据管理方案，能够显著降低业务开发的...
ANALYZE命令用于收集表数据统计信息来获取元数据，为优化查询性能提供帮助。命令格式 非分区表。analyze table table_name compute statistics for columns[(col_name[,col_name.])];分区表。analyze table table_name partition(pt_spec)...
统计分析中的统计项、统计指标及查询周期，请参见下表。统计项 统计指标 查询周期 PV和UV PV（页面浏览量）、UV（独立访客量）。今天、昨天、近7天、近30天、自定义（90天内）。地区和运营商 区域、总流量、流量占比、带宽、访问次数、访问...
TOP质量问题 根据问题质量规则数排行，为您统计截止到所选时间内的 TOP质量问题表 及 质量问题负责人 列表，您可以单击右上角的查看更多，进入 运行记录 界面了解表历史校验记录及校验详情，并及时处理。说明 质量规则负责人为数据表分区的...
当选择 日期-广告名称 时，详细数据表将首先按日期显示统计数据，并在每行（每个日期）前提供 箭头图标，单击即可展开该日期中按广告名称的详细数据。当 报表形式 为人群时，详细数据 区域右上角显示一对 省份、市级 按钮，用于切换详细...
以下原因可能导致Hash表占用较多内存：Build表本身较大：AnalyticDB for MySQL 会根据统计信息评估Join操作两边的表的大小，以较小的表作为Build表，但不排除Build表仍然较大。统计信息过期或者统计信息评估不准 当Join操作的两表不是源表...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
如果要进行批量写入时序数据、一次写入多个表、统计写入状态等操作，请使用时序Writer实现数据写入。具体操作，请参见 使用时序Writer写入时序数据。如果要迁移Kafka数据源的数据到表格存储时序表中，您可以通过Tablestore Sink Connector...
当选择 日期-活动组 时，详细数据表将首先按日期显示统计数据，并在每行（每个日期）前提供 箭头图标，单击即可展开该日期中按活动组的详细数据。当 报表形式 为人群报表时，详细数据 区域右上角显示一对 省份、市级 按钮，用于切换详细...
系统根据汇总逻辑表的来源表和统计周期，会生成多张物化表，当使用 select*语法查询汇总逻辑表时，底层物化SQL会将所有物化表全部关联，造成大量资源的浪费。该配置选择 是，可规避资源浪费的问题。重要 因为关闭使用 select*语法的权限，...
系统根据汇总逻辑表的来源表和统计周期，会生成多张物化表，当使用 select*语法查询汇总逻辑表时，底层物化SQL会将所有物化表全部关联，造成大量资源的浪费。该配置选择 是，可规避资源浪费的问题。重要 因为关闭使用 select*语法的权限，...
原子指标是对指标统计口径、具体算法的抽象。Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。本文为您介绍如何创建原子指标。前提条件 已完成业务...
原子指标是对指标统计口径、具体算法的抽象。Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。本文为您介绍如何创建原子指标。前提条件 已完成业务...
您也可以使用表格存储的SQL查询和多元索引统计聚合功能查询与分析表中数据。更多信息，请参见 SQL查询介绍 和 多元索引介绍。您也可以通过DataWorks集成服务、DataX等其他工具将其他数据源的数据迁移到表格存储中。更多信息，请参见 迁移...
通过直连数据源模式创建API（查询类型）通过直连数据源模式创建API（操作类型）通过注册方式创建API 基于模型创建API 调用API 元数据模型 物理表元数据dim_dataphin_table新增last_...，用来记录来自Dataphin内部统计的表的最后数据变更时间...
chunk_sizing_func 否 与 chunk_target_size 配合使用，指定自定义的函数以统计块表的时间间隔，并应用在新的块表中。time_partitioning_func 否 指定用于时间分区的分区函数。超表的分区 在创建和使用超表时，它会自动按时间对数据进行...
为了提高列存索引（IMCI）处理复杂查询的能力，列存索引优化器通过结合变换规则与表中各个列的统计信息，基于代价生成高效的执行计划，以此来增强自身的优化器能力。本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。...