问题修复 说明 修复在使用 列存索引（IMCI）的 Hybrid Plan加速宽表查询 时，因查询优化（将 AVG 函数转换为 SUM/COUNT）导致查询意外回退至行存执行的问题。修复在开启并行解析（Parallel Parse）功能后，在主节点（RW）上创建分区表时...
本文介绍RDS PostgreSQL的一些开发运维建议，帮助您有效提升数据库使用的规范性和稳定性，保持高性能。客户端连接池 使用绑定变量（PreparedStatement），消除数据库SQL硬解析CPU消耗，对性能提升巨大。减少idle connection数量。可以降低...
分区表是将一个大的逻辑表，按照分区规则分割成多个小的物理表，大的逻辑表为分区表，小的物理表为分区，每一个分区在存储引擎上独立组织管理数据和索引。分区规则主要包括 RANGE、LIST、HASH 三种，您需要指定分区键，根据分区键字段的值...
然而，在 SQL 脚本中在创建每个表之前无条件地尝试移除它的做法是很常见的，即使发生错误也会忽略之，因此这样的脚本可以在表存在和不存在时都工作得很好（如果你喜欢，可以使用 DROP TABLE IF EXISTS 变体来防止出现错误消息，但这并非...
应用可以直接用原业务表表名查询冷数据，通常在列存只读实例，查询归档表的性能比在主实例好，更适合满足复杂分析型查询的场景，因此若需要经常查询归档表数据的，建议使用列存只读实例。冷数据压缩率 归档表按列存组织数据并存储于OSS，...
增加表或视图同义词功能，可以为表或视图创建同义词，然后直接使用同义词操作表或视图。扩展了二级分区功能，现已支持 RANGE COLUMNS、LIST COLUMNS 以及 LIST COLUMNS+DEFAULT 分区类型，并支持 DATE、DATETIME、CHAR 等多种二级分区键...
分区组（Partition Group）AUTO模式数据库中，当表组中的表为分区表时，该表组的所有表的某个分区构成一个分区组，分区组是分区调度的基本单元，属于某个分区组的所有表分区始终会位于同一个存储节点。Join Group AUTO模式数据库中，Join ...
哈希聚簇（Hash Clustering）表通过设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。背景信息 在MaxCompute查询中，连接...
Lindorm宽表引擎提供PB级存储能力，可以将写入的数据按照主键进行范围分区并均匀分布在每台机器上，同时，Lindorm提供了SQL和索引支持，使用体验上接近于关系型数据库，但Lindorm宽表的底层实际上是基于LSM-Tree存储结构的分布式NoSQL数据...
原子指标用于明确业务的统计口径和计算逻辑，是基于用户的业务活动（即业务过程）创建的，用于统计业务活动中某一业务状况的数值。例如，用户的业务活动为购买，则原子指标就可以指定为支付金额。本文为您介绍如何创建原子指标。准备工作 ...
配置统计表结构，用于导入统计表数据。统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 数据源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在...
两表字段统计值一致性比较支持选择Left Join、Right Join、Inner Join、Full Join等多种关联方式。支持为Dataphin表和全域数据表监控对象配置打分权重以及为Dataphin表（自定义配置）和全域数据表的质量规则配置打分权重。创建全域数据表...
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询、全文检索和向量检索等复杂查询需求以及求最值、统计行数、数据分组等数据分析需求时，您...
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明，将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时，获得的锁将是子...
但是有时候因为查询过于复杂，或者统计信息的问题，数据量会估错，就导致把数据量大的表或者子查询做了Build Side，这样一来，构建Hash表会消耗大量的内存，导致OOM。如下图所示，执行计划中 Hash(cost=727353.45.627353.35,rows=970902134...
使用数据诊断分析用户表、物品表及行为表，可以验证可用特征，指导离散化参数设置，确定统计用户偏好和物品特征所需的数据时间窗口，以及评估训练样本的数据量需求，从而确保数据质量与模型训练资源的合理配置，提升特征工程的科学性、模型...
Lakehouse【新增功能】Paimon表支持列血缘分析，并优化统计信息。【功能优化】优化Paimon查询DLF 2.5元数据获取效率，提升查询性能。【问题修复】修复Iceberg Equality文件内存泄漏问题。修复DLF 2.5 Token过期问题。修复外表底表重建后...
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 删除表 删除分区表或非分区表。具备删除表权限（Drop）的用户。创建表 创建非分区表、分区表...
当MaxCompute业务数据规模超过200 GB，且查询复杂度较高、对响应时间要求达到秒级时，Hologres支持将这些数据直接导入内部表进行查询，相较于通过外部表查询方式，该方式可以设置索引，且数据查询效率更高。本文为您介绍不同场景的数据导入...
维度表、明细表、汇总表的创建操作请参见 创建逻辑模型：维度表、创建逻辑模型：明细表、创建逻辑模型：汇总表、创建逻辑模型：应用表。逆向建模操作，详情请参见 逆向建模：物理表反向建模。数据指标 DataWorks的数据建模提供数据指标功能...
当数据查询的结果中含有某种类型的数据较多时，可以使用折叠（Collapse）功能按照某一列对结果集做折叠，使对应类型的数据在结果展示中只出现一次，保证结果展示中类型的多样性。前提条件 已初始化OTSClient。具体操作，请参见 初始化...
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
维度表、明细表、汇总表的创建操作请参见 创建逻辑模型：维度表、创建逻辑模型：明细表、创建逻辑模型：汇总表、创建逻辑模型：应用表。逆向建模操作，详情请参见 逆向建模：物理表反向建模。数据指标 DataWorks的数据建模提供数据指标功能...
事务型事实表，即针对这些过程构建的一类事实表，用以跟踪定义业务过程的个体行为，提供丰富的分析能力，作为数据仓库CDM层的明细数据。事实表设计示例 下面以A公司的订单交易事务型事实表为例，阐述事务型事实表的一般设计过程。选择业务...
序号 描述 ① 上传 shopping_data 数据，并通过分词组件对数据进行分词，具体操作步骤如下：在画布中单击 shopping_data-1 组件，并在右侧 表选择 页签配置已准备好的表名。在画布中单击 Split Word-1 组件，并在右侧 字段设置 页签，选择...
通过统计聚合接口可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、嵌套功能；同时支持多个统计聚合功能组合使用，满足复杂...
在这个规则下，并不是保持表的最小尺寸，而是保持磁盘空间使用的稳定状态：每个表占用的空间=表最小尺寸+清理运行之间被用完的空间。虽然VACUUM FULL可以将一个表收缩回它的最小尺寸并将该磁盘空间交还给操作系统，但是如果该表将在未来...
一个例子是当你删除或者更新了一个表中的绝大部分行时，如果你希望在物理上收缩表以减少磁盘空间占用并且允许更快的表扫描，则该选项是比较合适的。VACUUM FULL 通常会比简单 VACUUM 更多地收缩表。PARALLEL 选项仅用于清理目的。如果此...
为什么有时看不到已经创建好的表并且查询结果一直抖动时多时少？如何处理往表里写入时间戳数据后查询出来的结果与实际数据不同？如何处理建表后查询表不存在？为什么Kafka外表建表后数据不增加？为什么客户端看到的时间结果和时区显示的不...
如果进度百分比长时间不动，一般都是后台正在进行比较耗时的步骤，请耐心等待 对于库表恢复、数据恢复等长时任务，步骤备注栏会展示步骤的详细进度，请以该进度为准。说明 当前仅 PolarDB MySQL版 标准版及企业版的集群版支持展示长时任务...
SQL查询 通过控制台使用SQL查询 通过SDK使用SQL查询 使用JDBC 通过JDBC直连使用SQL查询 通过Hibernate使用SQL查询 通过MyBatis使用SQL查询 通过Go语言驱动使用SQL查询 通道服务 表格存储 提供了增量、全量、增量加全量三种类型的分布式数据...
使用限制 当数据表类型为元表、镜像表、标签逻辑表时，不支持使用数据探查功能。当数据表的存储类型为Hologres或Kudu时，不支持使用数据探查功能。每次探查可选择的字段最多不超过1500个。数据探查支持的数据源和计算引擎请参见 数据探查...
2022062216|0|1299|cold 查询表访问频率 Hologres从V1.3.37版本开始提供日志系统表 hologres.hg_table_info 来按日收集实例内表的统计信息，帮助您对实例中的表信息进行查看、分析，以针对性的做优化，详情请参见 表统计信息查看与分析，...
当数据查询的结果中含有某种类型的数据较多时，可以使用折叠（Collapse）功能按照某一列对结果集做折叠，使对应类型的数据在结果展示中只出现一次，保证结果展示中类型的多样性。前提条件 已初始化Client。具体操作，请参见 初始化...
用户分群统计 构建用户特征大宽表，任意选择用户属性标签数据和筛选条件，进行人群特征统计分析。访客来源分析展示 通过批量离线计算对用户访问日志中的用户行为进行关联，生成用户行为路径大宽表同步到ClickHouse，基于ClickHouse构建交互...
使用限制 当数据表类型为元表、镜像表、标签逻辑表时，不支持使用数据探查功能。当数据表的存储类型为Hologres或Kudu时，不支持使用数据探查功能。每次探查可选择的字段最多不超过1500个。数据探查支持的数据源和计算引擎请参见 不同数据源...
策略训练任务输入数据格式说明 如果您要在后续使用智能发送来触达人群，则需要按照 个性化触达时间配置说明 来配置行为维表（behavior）和运营记录维表（operation）的数据。目录要求 训练任务输入数据依赖用户基础信息（user）、物品基础...
3.移除索引 如果你正在载入一个新创建的表，最快的方法是创建该表，用 COPY 批量载入该表的数据，然后创建表需要的任何索引。在已存在数据的表上创建索引要比在每一行被载入时增量地更新它更快。如果你正在对现有表增加大量的数据，删除...
支持使用ANALYZE、AUTO ANALYZE收集外部表统计信息，帮助优化器生成最佳的查询计划，详情请参见 ANALYZE和AUTO ANALYZE。支持外部表数据镜像。TimeTravel：支持基于Timestamp、Version、Tag查询Paimon表历史快照。分支查询：支持基于Branch...
使用ANALYZE、AUTO ANALYZE收集外部表统计信息，帮助优化器生成最佳的查询计划，详情请参见 ANALYZE和AUTO ANALYZE。外部表数据镜像。TimeTravel：基于Timestamp、Version、Tag查询Paimon表历史快照。分支查询：基于Branch查询Paimon分支...