PolarDB MySQL版 的列存索引（IMCI）功能旨在显著加速您的分析型（AP）查询。为确保您的SQL查询能被列存索引正确加速并返回预期结果，请在使用该功能前详细了解其支持的范围和限制条件。通用限制 在使用列存索引前，请确保您的集群环境和表...
本文为您介绍如何OnLine重建列存索引（Clustered Columnar Index，CCI）。前提条件 需要存在已经创建的列存索引。重建时需确保Online且无锁的，不会影响列存相关的在线流量，不会影响行存业务。注意事项 实例版本需为 5.4.20-20250714 及...
本文介绍了在列存索引只读节点开启Serverless的操作步骤。前提条件 PolarDB MySQL版 集群的产品版本为 企业版，内核版本为8.0版本，且集群中至少已存在一个列存索引只读节点。实现形态 在固定规格的列存索引只读节点上设置节点资源弹升范围...
EMR Serverless StarRocks架构 EMR Serverless StarRocks的产品架构主要由以下三个层次构成：存储层：存算一体版：StarRocks内表使用云盘或本地盘作为数据存储的介质，使用StarRocks Table Format存储格式。存算分离版：StarRocks内表使用...
本文将介绍如何为库表批量创建与删除列存索引。前提条件 数据库引擎版本要求如下所示：PolarDB MySQL版 8.0.1版本，且修订版本为8.0.1.1.45及以上。PolarDB MySQL版 8.0.2版本，且修订版本为8.0.2.2.27及以上。单表简化命令 添加表级列存...
为了提高列存索引（IMCI）处理复杂查询的能力，列存索引优化器通过结合变换规则与表中各个列的统计信息，基于代价生成高效的执行计划，以此来增强自身的优化器能力。本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。...
本文汇总了列存索引实践案例。实践案例 说明 宽表模式中对指定列的统计分析 在宽表模式下，如查询负载中只需要统计/分析部分列，则可使用列存索引（IMCI）功能提升查询效率进行加速。分区表使用列存索引 列存索引（IMCI）功能支持分区表，...
本文介绍将冷存数据进行预热的最佳实践。场景描述 冷存中的数据首次查询时延迟会比较高，可以提前预热将其加载到持久化缓存（分层存储中的云盘层），可以起到查询加速的效果。PolarDB PostgreSQL版 提供了 polar_osfs_prewarm 函数，支持将...
列存只读实例：归档表表名与行存表表名是一样（可以像访问行存表一样访问归档表），应用可以直接用原业务表表名查询冷数据，通常在列存只读实例，查询归档表的性能比在主实例好，更适合满足复杂分析型查询的场景，因此若需要经常查询归档表...
可以通过慢Query日志查看最近一天某个行存表涉及的Query，如果发现有Engine Type是非SDK或非FixedQE的，则建议修改Query，或者修改表为列存表或行列共存表。示例：查看过去一天，某个表涉及到的query select usename,status,query_id,...
本文介绍如何基于生成的快照点查询历史列存快照数据。版本限制 三位版本号 计算节点版本号 推荐版本号 存储节点组件版本（引擎版本）5.4.20 全部支持 5.4.20-20250328及以上（优化列存快照的读性能）MySQL 5.7、MySQL 8.0 5.4.19 5.4.19-...
Beam自研存储引擎采用统一的存储设计（行存Detla和PAX结构的列存Base），既能够承载OLTP的高并发读写负载，也能够应对OLAP的批量写入和大量扫描场景。Beam是 AnalyticDB PostgreSQL版 基于PostgreSQL 12的Table Access Method开发的下一代...
进入目标链的 智能合约服务市场，选择 结构化存证 模板，单击模板上的 新建合约服务。在流程向导页，按照页面提示完成存证合约的部署，并创建一个应用。向导1：填写 合约服务名称，单击 一键部署。重要 部署上链后，无法退回。等待应用创建...
本文介绍将冷存数据进行预热的最佳实践。场景描述 冷存中的数据首次查询时延迟会比较高，可以提前预热将其加载到持久化缓存（分层存储中的云盘层），可以起到查询加速的效果。PolarDB PostgreSQL版（兼容Oracle）提供了 polar_osfs_prewarm...
您可以通过技术白皮书了解列存索引的产品特性、典型场景中的性能以及客户案例，帮助您更好的了解和使用列存索引功能。单击此处查看及下载白皮书
本文介绍列存索引相关参数及数据类型。配置参数 参数名 取值范围 默认值 说明 polar_csi.enable_query on|off off 是否启用列存索引。polar_csi.cost_threshold 1~1000000000 PostgreSQL 14：在2.0.14.13.28.0及以上内核小版本调整参数默认...
新增 列存索引（IMCI）的 向量检索 支持 inline filter 模式。新增 列存索引（IMCI）后台创建 向量索引 的并发度管理与状态查询功能。新增在不改变 列存索引（IMCI）状态下，支持对 向量索引 进行新增、删除和修改操作。新增CXL内存扩展...
本文为您介绍对于EMR-HBase集群，如何将存算一体架构转换为存算分离架构。操作步骤 停止HBase服务。首先通过flush操作来保证内存中所有表的数据都已经刷新到HFile，并执行Disable table来禁用相关的表，避免写入新的数据。停止HMaster和...
列存索引服务用户广泛、应用场景复杂。用户往往无法对参数进行有效的调整，可能会导致自测结果不理想，或者需要提交工单给内核团队寻求帮助。但内核团队的支持能力有限，不能够保证支持力度。因此，列存索引内存管理的设计目标是能够在默认...
EMR Serverless Starrocks 开始支持存算分离模式。适用客户 全网用户 新增功能/规格 EMR Serverless Starrocks 3.1.0版本开始支持存算一体和存算分离两种模式，默认为存算一体模式。在存储计算分离架构，免 AK 集成访问 OSS 对象存储，弹性...
本文将模拟业务生产环境，在大数据量环境下，针对单表以及多表查询效率低下的情况，如何通过列存索引（In-Memory Column Index，简称IMCI）来提升查询性能。什么是列存索引 列存索引是将表的全部或部分列按照列式存储格式在 PolarDB 的只读...
您可以使用列存索引的扩展属性来定制列存索引。本文介绍了列存索引的扩展属性以及使用扩展属性来定制列存索引的方法。扩展属性 pack_shift 用于设置列存索引数据的行组（row group）大小。列存索引数据的行组大小主要影响内存常驻部分数据...
从Hologres V0.10版本开始，Hologres创建的列存表数据存储格式升级为AliORC，该存储格式能够进一步压缩数据存储大小，降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...
如需使用列存和压缩功能，您必须在建表时指定列存和压缩选项。例如，您可以在建表语句中加入以下子句，来启用列存和压缩功能。WITH(APPENDONLY=TRUE,ORIENTATION=COLUMN,COMPRESSTYPE=zstd,COMPRESSLEVEL=5,BLOCKSIZE=1048576,OIDS=FALSE)...
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
EMR Serverless StarRocks 存算分离 3.3版本正式发布。适用客户 全网用户 新增功能/规格 EMR Serverless StarRocks 存算分离 3.3版本正式发布，支持社区3.3版本及多计算组功能。产品文档 内核发布记录
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版（兼容Oracle）提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的...
进入目标链的 智能合约服务市场，选择 证书存证合约 服务，单击该卡片上的 新建合约服务。在流程向导页，按照页面提示完成证书存证合约的部署，并创建一个应用。向导1：填写 合约服务名称，单击 一键部署。重要 部署上链后，无法退回。等待...
行列混合存同样需要先查询缺失的列，但和列存不同的是，行列混合存查询缺失列时会通过行存文件进行查询，代价会更小。因此局部更新在性能上：行存 行列共存 列存。说明 以上描述的是SQL走Fixed Plan场景，局部更新性能：行存 行列共存 列存...
本文介绍提高冷存数据读写性能的最佳实践。场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版 在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO合并。如果要...
EMR Serverless StarRocks 存算分离版正式发布 适用客户 全网用户 新增功能/规格 存算分离版本采用StarRocks最新版的存算分离架构，可以节省存储成本30%-70%。可结合计算组，弹性伸缩进一步降低计算成本。适用于对存储成本敏感，同时对查询...
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
它可以为行存表创建列存索引，并自动维护行存数据和列存索引的一致性。当执行复杂的聚合或关联查询时，数据库可以利用列存索引进行计算，其性能远超传统的行存扫描。本方案的核心流程是：为构建物化视图的基表创建列存索引，以加速物化视图...
为了满足这方面的需求，PolarDB PostgreSQL版 除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，既不影响查询...
本文介绍提高冷存数据读写性能的最佳实践。场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版（兼容Oracle）在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO...
当您需要监控 云原生多模数据库 Lindorm 计算引擎中列存索引的同步延迟时，可以通过本文提供的配置方法，设定延迟告警监控功能，来帮助您及时发现和解决其性能问题。前提条件 已开通计算引擎。如何开通，请参见 开通与变配。已开通列存索引...
为了满足这方面的需求，PolarDB PostgreSQL版（兼容Oracle）除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，...
添加列存索引只读节点 您可选择以下两种方式中任意一种方式添加列存索引只读节点：说明 集群中应包含一个只读节点，即单节点集群不支持添加列存索引只读节点。控制台添加 登录 PolarDB控制台，选择集群所在地域。您可以按照如下两种方式中...
请参见 OLTP与OLAP业务独立场景下行存和列存手动分流，即这个指向只读列存节点的只读数据库代理自定义地址进行测试。IMCI 性能测试，无需对TPC-H中各个表建立二级索引。性能测试 TPCH 100 GB 测试环境一：节点规格为32核256 GB 在TPC-H测试...