维度属性可以存储到事实表中，这种存储到事实表中的维度列称为维度退化，可加快查询速度。与其他存储在维表中的维度一样，维度退化可以用来进行事实表的过滤查询、实现聚合操作等。明细粒度事实层（DWD）通常分为三种：事务事实表、周期...
Hologres支持三种表存储格式，分别为：行存、列存和行列共存，不同的存储格式适用于不同的查询场景，您需要根据表的使用场景设置表的存储格式，合适的存储格式可以显著提高数据处理和查询速度，同时也可以节省存储空间。设置存储格式语法 ...
因此在IO速度较慢时能够提高查询性能（如机械硬盘场景），反之则对查询性能有一定影响。LZ4算法的解压缩速度约为ZSTD解压缩速度的三倍，因此对查询性能要求高的场景，优先采用LZ4算法。外表存储 除内部存储外，AnalyticDB PostgreSQL版 ...
执行如下命令基于新建的Hologres外部表查询Hologres源表信息。命令示例如下。访问Hologres外部表需要添加如下属性。set odps.sql.split.hive.bridge=true;set odps.sql.hive.compatible=true;查询Hologres外部表数据。select*from my_table...
可以提前聚合的数据，都聚合好，生成一张汇总后的表，供Quick BI使用（查询数据时，从单张表查询，和从多张表关联后的表里查询，效率会相差很多）。如果仪表板查询用的表已经是单张表，而且也没法继续汇总，建议您从优化表结构的角度考虑下...
当源表数据量很大时，查询速度会很慢。操作复杂度较高，运行效率低。查询涉及读表、过滤操作。不涉及JOIN操作。MaxCompute会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率。物化视图相关操作命令如下。类型 ...
为了支持增全量存储和处理一体化架构，Transaction Table2.0（简称TT2）设计了统一的表数据组织格式，既可支持MaxCompute普通表的所有功能，同时也能很好的支持增量处理链路的新场景，包括time travel查询、upsert操作等。本文为您介绍...
召回引擎版简介 OpenSearch-...SQL查询 OpenSearch-召回引擎版支持SQL查询语法，支持多表在线join，提供丰富的内置UDF函数和UDF函数定制机制，以满足不同用户的检索需求。在运维系统中我们即将集成SQL studio，方便用户进行SQL开发和测试。
系统架构 在线系统 在用户视角中在线系统是按表维度进行划分，用户可以通过接口单独查询每张向量表的数据，也可以对每张表进行单独管理，比如设置表字段、设置向量索引，配置数据源，控制每张表的实时数据并发等等。后端的在线系统架构则是...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
5.7.1.0.9 类别 说明 发布时间 问题修复 多表场景下，支持存储引擎快速启动。修复了在虚拟列上回滚Update操作导致数据库崩溃的问题。2021-05-13 5.7.1.0.8 类别 说明 发布时间 新增功能和性能优化 当只读节点和主节点建立复制关系时，新增...
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
系统会将您指定的小表全部加载到执行JOIN操作的程序的内存中，继而加快JOIN的执行速度。如果将大表和小表互换位置，系统不会报错，但是性能会变差。MaxCompute SQL设置过滤条件后，报错提示输入的数据超过100 GB，如何解决？先过滤分区，再...
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
如果被分析的表有一个或者更多子女，ANALYZE 将会收集两次统计信息：一次只对父表的行收集，第二次则在父表及其所有子女表的行上收集。在规划需要遍历整个继承树的查询时需要第二个统计信息集。不过，在决定是否触发表上的自动分析时，自动...
查询向量表数据 向量表数据的两种查询方式如下：/*polar4ai*/SELECT*FROM table_name LIMIT 10;polar4ai*/SELECT id,name,type FROM table_name LIMIT 10;如果查询语句中不添加 LIMIT 关键字，则默认最多查询10000条数据。向量检索 获取...
升级资源组规格：当源端数据量增大，或者同步解决方案任务重新编辑过同步任务（将任务由读取单库单表变更为读取多库多表），导致当前资源组消耗不了当前同步数据量级，此时您可选择扩大资源组规格，资源组规格调整详情请参考：变更规格操作...
Rich Join Order Optimization 在多表join时，应该尽可能枚举所有可能的join方式，来选取最优order，例如利用DPccp或DPhyp这种基于join graph的高效enumeration算法。MySQL基于greedy search的join ordering算法搜索空间是受限的，只能支持...
在通过JindoFS SDK访问OSS数据前，可先指定表和分区预先缓存数据，在后续查询分析时，可直接读取缓存中的数据，提高效率。本视频为您介绍如何在Hadoop集群中部署缓存服务，并通过JindoFS SDK指定表和分区来预先缓存数据。云上计算云下数据...
数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（TimeTravel查询），也支持指定源表某个历史时间区间...
表结构变更 实时分析 倒排索引 您需要快速检索云数据库 SelectDB 版中的大量文本数据时，本文档将指导您如何创建和使用倒排索引，以支持您的文本检索应用，并提高检索速度。倒排索引 物化视图 当您需要优化重复且耗时较长的复杂查询时，您...
搜索索引是宽表引擎与搜索引擎深度融合的特性，需要单独开通购买，核心功能为倒排索引和列存，适合较为复杂的多维查询场景，一个宽表只能创建一个搜索索引表，索引列个数最多1000个（默认）。二级索引是Lindorm宽表内置的特性，无需开通...
对于需要范围查询的场景，建议使用范围类型以及GiST索引，提高范围检索的查询性能。如果应用经常访问较大结果集的数据（例如100条），建议将数据聚合成1条，例如经常要按ID访问此ID的数据，建议定期按ID聚合数据，查询时返回的记录数越少...
本文介绍如何在列存表中使用排序键结合粗糙集索引，从而提高查询性能。重要 本文适用于：存储预留模式：数据库内核版本为20200826版本之后的新建实例。存储弹性模式：数据库内核版本为20200906版本之后的新建实例。背景信息 当您创建表的...
如提升库表恢复速度，支持任务失败回滚等。2024-01-05 问题修复 修复在undo truncate过程中出现异常checkpoint的问题。修复RO节点的物理机出现故障时，RW节点在特殊情况下未将其复制关系中断，而引发的RW节点刷脏受阻的问题。修复在RW节点...
实时数仓Hologres维表 Hologres Catalog支持创建表时进行表属性设置 合理的表属性设置可以有助于系统高效地组织和查询数据，在使用Hologres Catalog创建表时，支持用户在WITH参数中设置物理表属性。管理Hologres Catalog MaxCompute Sink ...
此外，该版本还提供了GiST索引，在构建过程中预先排序数据，从而可以大幅提高GiST和SP-GiST索引的创建速度，并减少索引的大小。分区表提升 PolarDB PostgreSQL版（兼容Oracle）2.0版本 通过改进分区系统，使得使用分区表进行查询时获得了更...
执行查询语句时，您可以通过列存索引的pruner功能，过滤掉数据库中不需要访问的数据块，以提高SQL语句的查询速度。本文介绍pruner的适用场景、注意事项、语法和相关参数等内容。简介 列存索引数据以单列数据块（默认包含64K行，可以通过 表...
在join的表集合中，寻找一个可以做逻辑分片的表做拆分，如果3个表都不足以拆分足够多的分片，那就选最多的表，比如这里选择了t2，它可能拆出12个分片，但仍然无法满足并行度16的要求，导致有4个worker读不到数据而idle。聚集操作先在worker...
索引的建立是文本检索引擎的重要步骤，它直接影响到后续查询处理和结果展示的速度和准确性。索引字段 检索引擎索引字段是指在建立索引时，将数据中的特定字段进行提取和存储，以便在后续查询时能够快速定位到相关文档。例如，在电子邮件...
提出了优化的基于PM的半持久化内存表用以替换传统方案DRAM中的内存表，使用ROR无锁免日志算法去除传统方案依赖WAL保持事务的ACID属性，设计全局有序的Global Index持久化索引层以及存内合并策略替换传统方案的Level0层，提高查询效率以及...
为了能尽可能多的跳过和查询无关的表文件，我们需要尽可能缩小该表中min-max的差距，使得相近的数据尽可能在文件中聚集。举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,...
设备关系表需要人工添加，不利于扩展性 问题：对于插入一个新用户，需要先进行一（多）次查询找到相关的用户关系才能进行插入 问题：牺牲一些查询性能，增加了设备到用户查询 Step4：业务模型优化方案 基于业务考量，最终业务配置模型选择...
当t_order表增长到十万级，随着页数增加，执行速度明显变慢，可能降到几十毫秒的量级，如果数据量增长到百万级，则耗时达到秒级，数据量继续增长，耗时最终会变得不可接受。问题分析 假设我们在user_id，gmt_create上创建了局部索引，由于...
当您需要在某个查询的执行结果基础上进一步执行查询操作时，例如单独计算聚合值、检查某条记录的存在性、筛选基于另一查询结果的数据、关联更新或删除操作、简化JOIN操作以获取单个值、作为派生表给主查询使用、提供排序或分组的依据以及...
背景信息 渐进式计算能够处理增量数据并维护中间结果数据，提高了在计算资源消耗、执行时间调度、查询延迟、数据处理粒度等方面的灵活性。例如在范围查询（Range Query）场景下（即查询一段时间范围内的数据），使用传统批处理方式和渐进式...
的ePQ支持分区表查询功能。背景信息 随着数据量的不断增长，表的规模将会越来越大。为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又可以进一步拆分成二级子分区表，从而形成了多级分区表。...
PolarDB PostgreSQL版 的ePQ支持分区表查询功能。背景信息 随着数据量的不断增长，表的规模将会越来越大。为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又可以进一步拆分成二级子分区表，...
2024年1月 14.9.15.0 内核小版本 类别 说明 相关文档 发布时间 新增 支持分区表扫描算子，加速分区表执行计划的生成，解决大量分区场景下查询慢、内存消耗多的问题。分区表扫描算子 2023年12月 全局执行计划缓存功能，支持进程间共享执行...