实例问题分析的基本方法论是寻找性能瓶颈，即哪种资源的消耗最多，什么原因导致该种资源消耗较多，并持续将问题做细粒度拆解。对于 PolarDB PostgreSQL版（兼容Oracle）数据库，使用的基本资源有以下两种：系统资源：包括CPU、I/O、网络、...
本文介绍高I/O的相关概念以及常见高I/O的原因。I/O的相关概念 概念 说明 I/O 对磁盘进行读写的动作。I/O延时 一个I/O操作的执行时间。逻辑I/O 由应用程序发给文件系统的I/O。物理I/O 由文件系统发给磁盘的I/O。顺序I/O 顺序的从磁盘进行...
CPU等待事件持续较多，出现CPU瓶颈，需进行具体查询分析。可观察 polar_stat_activity_rt 中哪类进程CPU比较高，数值单位是CPU使用率。SELECT backend_type,SUM(cpu_sys cpu_user)AS cpu_rate FROM polar_stat_activity_rt GROUP BY ...
PolarDB PostgreSQL版（兼容Oracle）支持通过vacuum命令对垃圾数据进行回收。回收垃圾数据释放的空间并不会返还给操作系统，但是新插入或更新的数据可以使用该空间。在上图中，tuple1 和 tuple2 代表有效数据行，unused 代表无效数据行，...
本文介绍CPU使用率的相关概念以及常见CPU使用率高的原因。CPU相关概念 概念 说明 CPU使用率 CPU使用率指的是CPU执行工作的时间比例，包含了所有符合条件的活动的时钟周期，比如停滞等待IO而导致较高的使用率，CPU使用率被分为内核时间和...
本文为您展示 PolarDB PostgreSQL版（兼容Oracle）的堆表结构图。结构 说明 table files 表文件，由一个或多个数据文件组成，文件数量与文件大小有关，超过1 GB就会生成一个新的数据文件。file 数据文件，由多个数据块组成。...
本文介绍PolarDB通用倒排索引GIN（Generalized Inverted Index）。GIN是一个存储对（key、posting list）集合的索引结构，其中key是一个键值，posting list是一组出现过key的位置。如‘hello','14:2 23:4' 中，表示hello在14:2和23:4这两个...
PolarDB PostgreSQL版 数据库主体空间主要被用户数据和WAL日志占用。查询数据空间 查询数据空间包括以下内容：数据库 通过PG客户端执行 \l，可以查看每个数据库的空间占用情况注意该操作需要遍历目录树，会有较高的CPU和IO开销。...
PolarDB PostgreSQL版（兼容Oracle）数据库主体空间主要被用户数据和WAL日志占用。查询数据空间 查询数据空间包括以下内容：数据库 通过PG客户端执行 \l，可以查看每个数据库的空间占用情况注意该操作需要遍历目录树，会有较高的CPU和IO...
本文为您介绍 PolarDB PostgreSQL版（兼容Oracle）的文件存储。主节点和只读节点的数据和WAL日志保存在共享存储中。配置文件、Log文件和临时文件在每个节点都会单独保存。主节点的CLOG文件存储在共享存储中；只读节点的CLOG文件会在各自...
本文介绍网络问题对数据库性能的影响。前端协议 简单查询：一个简单查询周期是由前端发送一条Query消息给后端进行初始化开始。这条消息包含一个用文本字符串表达SQL命令（或者一些命令）。后端根据查询命令串的内容发送一条或者更多条响应...
本文将为您介绍如何调整PolarDB参数，您可以 在PolarDB控制台修改参数，也可以 通过客户端修改参数。控制台修改参数 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航栏中选择 配置与管理>...
I/O事件持续出现且较多，出现I/O瓶颈，需进行具体查询分析。遇到I/O瓶颈时，可通过以下三种方式来进行分析观察：观察 polar_stat_activity_rt 中哪类进程I/O比较高。SELECT backend_type,SUM(local_read_iops local_write_iops)iops,SUM...
本节介绍 PolarDB PostgreSQL版（兼容Oracle）的查询机制。SELECT 使用SELECT查询数据时，需要从磁盘中读取一个数据块到内存中，然后通过内存中数据块获取返回结果。INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取...
HASH索引只支持等值查询。由于HASH索引只存储HASH值，不会存储实际的索引键值，所以适合字段长度较长，且字段选择性好的等值查询场景。索引结构 HASH值转换，HASH值映射到某个bucket。bucket数量为2的N次方。metapage包含索引内部的相关...
性能洞察是一项专注于数据库性能调优、负载监控和关联分析的利器，使用直观简单的方式帮助您迅速评估数据库负载，找到性能问题的源头和对应的SQL语句，以此来指导您在何时、何处、采取何种行动进行数据性能优化。操作步骤 登录 PolarDB控制...
在使用数据库时，可能会出现表对应字段已经创建了索引，但是SQL语句执行慢的情况。您可以使用EXPLAIN命令查看下对应的查询计划，从而可以快速定位慢SQL。下图为您展示优化器从开始解析到最终执行的过程。语法 EXPLAIN 命令可以输出SQL 语句...
本文为您介绍 PolarDB PostgreSQL版（兼容Oracle）的重要组件。DB Server 即数据库进程（Polar Database,简称PolarDB）。PolarDB数据库内核区分实例角色，目前包括三种角色，Primary，Standby和Replica。Primary即为拥有读写权限的读写库，...
在使用 PolarDB-X 1.0 的过程中，可能出现性能不符合预期的慢SQL。SQL调优的过程，就是通过分析SQL的执行计划、各阶段运行时长等信息，找出导致SQL执行慢的原因，继而解决问题。基本原理 PolarDB-X 1.0 是一个支持计算存储分离架构的数据库...
您可以通过调整core-site.xml配置、TestDFSIO配置或避免使用小文件来优化集群性能。调整core-site.xml配置 在测试集群吞吐性能之前建议在core-site.xml文件中增加或修改如下配置，同步到所有依赖hadoop-common的节点上并重启集群服务。...
本文为您介绍如何调整NameNode JVM和DataNode JVM内存大小，以便优化HDFS的稳定性。调整NameNode JVM内存大小 背景：在HDFS中，每个文件对象都需要在NameNode中记录元数据信息，并占用一定的内存空间。默认的JVM配置可以满足部分普通的HDFS...
本文介绍 PolarDB-X 如何优化和执行排序计算，达到减少数据传输量和提高执行效率的效果。基本概念 排序操作（Sort）表示按照指定的ORDER BY列对输入进行排序。本文介绍的均为不下推的排序类算子的实现。如果已被下推到LogicalView中，则由...
执行SQL语句时，如果出现慢SQL或SQL占用系统内存的情况，需进行具体查询分析。查询慢SQL 查询慢SQL语句分为以下两种情况：查看历史慢SQL语句：通过观察 pg_stat_statements 视图，执行时间较长的SQL语句。SELECT total_time/calls AS avg,...
执行SQL语句时，如果出现慢SQL或SQL占用系统内存的情况，需进行具体查询分析。查询慢SQL 查询慢SQL语句分为以下两种情况：查看历史慢SQL语句：通过观察 pg_stat_statements 视图，执行时间较长的SQL语句。SELECT total_time/calls AS avg,...
本文介绍元数据在create_write、open_read、rename和delete等操作上的性能测试方法。注意事项 在进行open_read、rename、delete测试之前要确保 文件存储 HDFS 版 上已存在待测数据。如果不存在待测数据，请先使用create_open创建待测数据。...
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
子查询是指在父查询的WHERE子句或HAVING子句中嵌套另一个SELECT语句的查询，本文主要介绍 PolarDB-X 如何优化和执行子查询。基本概念 根据是否存在关联项，子查询可以分为非关联子查询和关联子查询。非关联子查询是指该子查询的执行不依赖...
本节介绍代价计算和相关计算公式。代价计算模型 操作成本 默认值 说明 seq_page_cost 1.0 顺序扫描一个页面的成本。random_page_cost 4.0 随机扫描一个页面的成本。cpu_tuple_cost 0.01 CPU处理一行的成本。cpu_index_tuple_cost 0.005 CPU...
本章节主要介绍 PolarDB PostgreSQL版 中的不同视图详细信息，可通过查询不同视图获取相关SQL信息，进而方便定位性能问题。SQL 您可以通过查询本文描述的视图来获取相关SQL信息。pg_stat_statements 说明 pg_stat_statements视图依赖于 pg_...
本章节主要介绍 PolarDB PostgreSQL版（兼容Oracle）中的不同视图详细信息，可通过查询不同视图获取相关SQL信息，进而方便定位性能问题。SQL 您可以通过查询本文描述的视图来获取相关SQL信息。pg_stat_statements 说明 pg_stat_statements...
本节为您介绍什么是代价以及代价的相关概念。概述 物理优化是基于代价的查询优化，执行代价由IO代价和CPU代价组成。IO代价的评估方式请参见 CPU代价的评估方式请参见 统计信息 高频值 表示常见值，例如在表t1中，a字段大小是1~100，其中1~...
本章节主要介绍 PolarDB PostgreSQL版 中的不同视图详细信息，可通过查询不同视图获取相关对象信息，进而方便定位性能问题。表 pg_stat_all_tables pg_stat_all_tables 视图将为当前数据库中的每一个表显示与该表访问相关的统计信息。...
本章节主要介绍 PolarDB PostgreSQL版（兼容Oracle）中的不同视图详细信息，可通过查询不同视图获取相关对象信息，进而方便定位性能问题。表 pg_stat_all_tables pg_stat_all_tables 视图将为当前数据库中的每一个表显示与该表访问相关的...
索引优化通常需要依赖运维或开发人员对数据库引擎内部优化和执行原理的深入理解。为优化体验和降低操作门槛，PolarDB-X 推出了基于代价优化器的索引推荐功能，可根据查询语句分析并推荐索引，帮助您降低查询耗时，提升数据库性能。...
Flink的状态管理是一个复杂而关键的领域，涉及到作业的性能、稳定性和资源利用等多个方面。通过对状态生成机制和优化策略地深入理解与正确应用，结合实时计算Flink版提供的产品能力，可以帮您有效地优化Flink作业以应对大规模状态作业带来...
本文介绍了 PolarDB-X 如何优化和执行聚合计算，以达到减少数据传输量和提高执行效率的效果。基本概念 聚合操作（Aggregate，简称Agg）表示按照GROUP BY指定列对输入数据进行聚合的计算，或者不分组对所有数据进行聚合的计算。...
本文介绍集群在顺序写、顺序读、随机读等方面的性能测试方法。注意事项 性能测试前，请注意以下事项。吞吐最大不会超过ECS带宽。如果您的ECS带宽只有1.5 Gbps，则吞吐最高可达到187.5 MB/s。文件存储 HDFS 版 的吞吐能力和购买的存储空间...
查询优化器负责优化逻辑计划从而输出物理计划，其主要阶段包含查询改写和计划枚举。本文将介绍查询优化器的基本原理，以及什么是关系代数运算符、查询改写（RBO阶段）和查询计划枚举（CBO阶段）。PolarDB-X 接收到一条SQL后的执行过程大致...
PolarDB PostgreSQL版 在使用过程中，可能会出现CPU使用率异常升高甚至达到满载的情况。本文将介绍造成这种情况的常见原因和排查方法，以及对应的解决方案。问题原因 业务量上涨 当CPU使用率上升时，最有可能的情况是业务量的上涨导致数据...