关于PostgreSQL的GiST索引之五

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 4.其它数据类型的GiST索引 GiST索引可适用于多维数据类型和集合数据类型,对多维数据类型使用Rtree的索引算法,对集合数据类型RD-tree或者签名文件(是不是也可以叫利用签名向量压缩的RD-tree)的索引算法。

4.其它数据类型的GiST索引

GiST索引可适用于多维数据类型和集合数据类型,对多维数据类型使用Rtree的索引算法,对集合数据类型RD-tree或者签名文件(是不是也可以叫利用签名向量压缩的 RD-tree)的索引算法。签名文件的索引算法由于采用有损压缩的方式保存key集合,所以搞不好会遇到性能陷阱。前面已经详细介绍了tsvector和hstore的GiST索引,它们都采用了签名文件的索引算法,只不过签名向量的大小,叶节点的索引项是否用签名向量压缩等细节不一样。下面再简单介绍其他几种GiST索引采用签名文件索引算法的数据类型。

4.1 intarray

PostgreSQL为数组提供了默认的 GIN索引操作符。如果想对int数组尝试GiST索引,可以使用 intarray扩展模块带来的两个GiST索引操作符类

gist__int_ops 操作符类
采用RD-tree的索引算法,索引项中放int型key的集合。
1)对叶节点的索引项,如果key的数目超过199,报错。
2)对非叶节点的索引项,如果key的数目超过199,进行无损压缩。
  压缩方法为依次存放key和该key出现的次数。因此这种方法对重复key比较少的场合,不但不能起到压缩的作用,反而更膨胀了。

相关代码
contrib/intarray/_int_gist.c

gist__intbig_ops 操作符类
使用签名向量的形式有损压缩索引项,和hstore的GiST索引类似。
1)所有索引项包含的key的集合都采用签名向量压缩
2)签名向量的大小为2016bit

相关代码
contrib/intarray/_intbig_gist.c

4.2 pg_trgm

pg_trgm模块提供的gist_trgm_ops操作符类可以把text数据切成若干 三元词,并使用签名向量的形式压缩存储这些 三元词,索引算法和tsvetor的GiST索引类似。
gist_trgm_ops 操作符类
1)叶节点的索引项存储pg_trgm三元词的数组
  pg_trgm生成三元词时,内部用了3个字节存储 三元词,如果三元词中包含多字节字符,通过先计算CRC再取前3个字节的方法压缩。
2)非叶节点的索引项存储其包含的所有三元词集合的签名向量
3)签名向量的大小为96bit

由于pg_trgm的GiST索引的签名向量比较小,每次查询需要扫描的索引节点数必然很多,会很影响速度。
具体的测试实例可参考下面这篇文章。
http://blog.chinaunix.net/uid-20726500-id-4824895.html

相关代码
contrib/pg_trgm/trgm_gist.c


ltree
ltree 模块引入一种可以表达路径的数据类型ltree,比如:Top.Science.Astronomy.Astrophysics 。 ltree 模块包含了两个GiST索引操作符类。
gist_ltree_ops 操作符类
gist_ltree_ops用于索引ltree,它的算法是签名向量和Rtree的混合体。所以它既支持比较操作符(=, >),又支持匹配操作符(@>, 1)叶节点的索引项全部存储原始ltree数据
2)非叶节点的索引项存储标签集合的签名向量和Rtree需要的边界值
3)签名向量的大小为64bit

gist_ltree_ops的签名向量同样很小,损耗很大。 gist_ltree_ops对单个 标签的匹配查询效率很低,但是作为匹配条件的路径中一般包含多个标签,所以 查询效率可以得到成倍提高。

相关代码
contrib/ltree/ltree_gist.c

gist__ltree_ops 操作符类
gist__ltree_ops用于索引ltree的数组,采用类似hstore的GiST索引的签名向量的算法。
1)所有索引项都采用签名向量压缩
2)对ltree数组中的所有ltree的所有标签值都进行哈希设置bit位得到一个签名向量
3)签名向量的大小为224bit

相关代码
contrib/ltree/_ltree_gist.c

5. 总结:GiST还是GIN?

PostgreSQL中对很多集合数据类型同时提供GiST和GIN两种索引操作符类,该选哪个好,有时让人头疼。对查询操作,无疑GIN索引要优于GiST。但是对更新操作,GIN索引要为 集合中的每个元素生成一个项目,而GiST是为整个集合生成一个项目,所以 GiST在更新操作上有优势GIN索引的问题很好量化,由GIN索引带来的更新操作的额外负担和平均每条记录中包含的 集合数据的大小成正比。而 GiST 索引在查询上的性能表现就严重依赖于操作符类如何在索引项目中存储集合数据了。有没有压缩?有损压缩还是无 损压缩? 压缩损耗有多大?所以要结合使用场景和GiST的压缩算法具体问题具体分析。


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
9天前
|
关系型数据库 MySQL 索引
mysql 分析5语句的优化--索引添加删除
mysql 分析5语句的优化--索引添加删除
11 0
|
15天前
|
存储 关系型数据库 MySQL
轻松入门MySQL:优化进销存管理,掌握MySQL索引,提升系统效率(11)
轻松入门MySQL:优化进销存管理,掌握MySQL索引,提升系统效率(11)
|
20天前
|
存储 自然语言处理 关系型数据库
ElasticSearch索引 和MySQL索引那个更高效实用那个更合适
ElasticSearch索引 和MySQL索引那个更高效实用那个更合适
35 0
|
21天前
|
SQL 存储 关系型数据库
MySQL not exists 真的不走索引么
MySQL not exists 真的不走索引么
24 0
|
25天前
|
SQL 存储 关系型数据库
对线面试官 - 如何理解MySQL的索引覆盖和索引下推
索引下推是MySQL 5.6引入的优化,允许部分WHERE条件在索引中处理,减少回表次数。例如,对于索引(zipcode, lastname, firstname),查询`WHERE zipcode='95054' AND lastname LIKE '%etrunia%'`时,索引下推先过滤zipcode,然后在索引中应用lastname条件,降低回表需求。索引下推可在EXPLAIN的`Using index condition`中看到。
对线面试官 - 如何理解MySQL的索引覆盖和索引下推
|
28天前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之加了索引但是查询没有使用如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
监控 关系型数据库 MySQL
MySQL创建索引的注意事项
在数据库设计和优化中,索引的合理使用是提高查询性能和加速数据检索的关键因素之一。通过选择适当的列、了解数据分布、定期维护和监控索引性能,我们能够最大程度地发挥索引的优势,提高数据库的效率和响应速度。
29 0
|
1月前
|
关系型数据库 MySQL 数据库
MySQL索引和查询优化
MySQL索引和查询优化
33 1
|
1月前
|
SQL 关系型数据库 MySQL
MySQL索引与事务
MySQL索引与事务
|
1月前
|
监控 关系型数据库 MySQL
MySQL创建索引的注意事项
在索引的世界中,权衡是关键。权衡读写性能,权衡索引的数量和类型,权衡查询的频率和数据分布。通过谨慎的设计、定期的维护和持续的监控,我们能够确保索引在数据库中的角色得到最大的发挥,为应用提供更加高效和可靠的数据访问服务。在数据库优化的旅途中,索引是我们的得力助手,正确使用它将使数据库系统更具竞争力和可维护性。
18 0