PgSQL流复制搭建

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介:
172.16.10.106上部署主服务器,172.16.10.251上部署从服务器。

1. 简介

postgres在9.0之后引入了主从的流复制机制,所谓流复制,就是从服务器通过tcp流从主服务器中同步相应的数据。这样当主服务器数据丢失时从服务器中仍有备份。
与基于文件日志传送相比,流复制允许保持从服务器更新。 从服务器连接主服务器,其产生的流WAL记录到从服务器, 而不需要等待主服务器写完WAL文件。
PostgreSQL流复制默认是异步的。在主服务器上提交事务和从服务器上变化可见之间有一个小的延迟,这个延迟远小于基于文件日志传送,通常1秒能完成。如果主服务器突然崩溃,可能会有少量数据丢失。
同步复制必须等主服务器和从服务器都写完WAL后才能提交事务。这样在一定程度上会增加事务的响应时间。
配置同步复制仅需要一个额外的配置步骤: synchronous_standby_names必须设置为一个非空值。synchronous_commit也必须设置为on。
这里部署的是异步的流复制。
注:主从服务器所在节点的系统、环境等最好一致。PostgreSQL版本也最好一致,否则可能会有问题。

2. 安装部署

先在172.16.10.106和172.16.10.251均安装PostgreSQL。
具体安装部署步骤见:PostgreSQL安装配置

2.1 主服务器

主服务器为172.16.10.106
先创建一个新目录:
mkdir /opt/pgsql/pg_archive
1.首先需要创建一个数据库用户进行主从同步。创建用户replica,并赋予登录和复制的权限。
postgres# CREATE ROLE replica login replication encrypted password 'replica'
2.修改pg_hba.conf,允许replica用户来同步。
在pg_hba.conf里增加两行:
host     all             all          172.16.10.251/32          trust   #允许94连接到主服务器
host   replication      replica       172.16.10.251/32          md5   #允许94使用replica用户来复制
这样,就设置了replica这个用户可以从172.16.10.251进行流复制请求。
注:第二个字段必须要填replication
4.修改postgresql.conf
listen_addresses = '*'   # 监听所有IP
archive_mode = on  # 允许归档
archive_command = 'cp %p /opt/pgsql/pg_archive/%f'  # 用该命令来归档logfile segment
wal_level = hot_standby
max_wal_senders = 32 # 这个设置了可以最多有几个流复制连接,差不多有几个从,就设置几个wal_keep_segments = 256 # 设置流复制保留的最多的xlog数目
wal_sender_timeout = 60s # 设置流复制主机发送数据的超时时间
max_connections = 100 # 这个设置要注意下,从库的max_connections必须要大于主库的
配置完两个文件后重启服务器。
pg_ctl stop -D /data/pgsql/data
pg_ctl start -D /data/pgsql/data
3.测试94能否连接93数据库。在94上运行如下命令:
psql -h 172.16.10.106 -U postgres
看看是否能进入数据库。若可以,则正常。

2.2 从服务器

1.从主节点拷贝数据到从节点
su - postgres
rm -rf /data/pgsql/data/*   #先将data目录下的数据都清空
pg_basebackup -h 192.168.20.93 -U replica -D /data/pgsql/data -X stream -P  # 从93拷贝数据到94(基础备份)
mkdir /opt/pgsql/pg_archive
2.配置recovery.conf
复制/usr/pgsql-9.4/share/recovery.conf.sample 到 /data/pgsql/data/recovery.conf
cp /usr/pgsql-9.4/share/recovery.conf.sample /data/pgsql/data/recovery.conf
修改recovery.conf
standby_mode = on    # 说明该节点是从服务器
primary_conninfo = 'host=192.168.20.93 port=5432 user=replica password=replica'  # 主服务器的信息以及连接的用户
recovery_target_timeline = 'latest'

3.配置postgresql.conf
wal_level = hot_standby
max_connections = 1000 # 一般查多于写的应用从库的最大连接数要比较大
hot_standby = on # 说明这台机器不仅仅是用于数据归档,也用于数据查询
max_standby_streaming_delay = 30s # 数据流备份的最大延迟时间
wal_receiver_status_interval = 10s # 多久向主报告一次从的状态,当然从每次数据复制都会向主报告状态,这里只是设置最长的间隔时间
hot_standby_feedback = on # 如果有错误的数据复制,是否向主进行反馈
配置完后重启从服务器
pg_ctl stop -D /opt/pgsql/data
pg_ctl start -D /opt/pgsql/data

3. 验证是否部署成功

在主节点上执行:
select client_addr,sync_state from pg_stat_replication;
结果如下:
postgres=# select client_addr,state,sync_state from pg_stat_replication;
  client_addr  |   state   | sync_state
---------------+-----------+------------
 172.16.10.251 | streaming | async
 (1 row)
说明251是从服务器,在接收流,而且是异步流复制。
此外,还可以分别在主、从节点上运行 ps aux | grep postgres 来查看进程:
主服务器(106)上,可以看到有一个 wal sender 进程。
postgres 12602 12559  0 20:43 ?        00:00:00 postgres: wal sender process repl 172.16.10.251(47554) streaming 0/18000A88
从服务器(251)上,可以看到有一个 wal receiver 进程。:
postgres  6569  6564  0 20:41 ?        00:00:03 postgres: wal receiver process   streaming 0/18000A88
至此,PostgreSQL主从流复制安装部署完成。
在主服务器上插入数据或删除数据,在从服务器上能看到相应的变化。从服务器上是只读状态,只能查询,不能插入或删除。
假设主库崩溃了,备库如何从只读状态切换为读写状态呢?只要把备库的postgresql.conf中hot_standby修改为off,并且删除recovery.conf,然后重启库就可以提供服务了
相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
SQL 关系型数据库 测试技术
timescaleDB双机热备流复制与测试
最近有项目要用到热备功能,timescaledb只能兼容pg的流复制,不能兼容其他的复制策略,所以这里我们采用pg的流复制功能镜像部署,并进行了一些测试
704 0
|
SQL 存储 JSON
pg流复制详解
pg流复制详解
357 0
|
关系型数据库 网络安全 数据库
PGPool-II+PG流复制实现HA主备切换
基于PG的流复制能实现热备切换,但是是要手动建立触发文件实现,对于一些HA场景来说,需要当主机down了后,备机自动切换,经查询资料知道pgpool-II可以实现这种功能。
2879 0
|
关系型数据库 数据库 PostgreSQL
PostgreSQL 同步流复制原理和代码浅析
数据库ACID中的持久化如何实现 数据库ACID里面的D,持久化。 指的是对于用户来说提交的事务,数据是可靠的,即使数据库crash了,在硬件完好的情况下,也能恢复回来。PostgreSQL是怎么做到的呢,看一幅图,画得比较丑,凑合看吧。假设一个事务,对数据库做了一些操作,并且产生了一些脏数据,
13208 0
LXJ
|
关系型数据库 Shell 数据库
postgresql双机热备(流复制)及主备切换
postgresql双机热备(流复制)及主备切换
LXJ
1976 0
|
关系型数据库 数据库 PostgreSQL
PostgreSQL 流复制的主备切换
概述 流复制的主库和备库的角色不是静态存在的,在维护过程中可以对二者进行角色切换。例如当主库硬件故障或主库需要调整参数需要重启系统时,通常要进行流复制的主备切换。 如何判断主备角色 在通常的主备架构下(一主多备,级联除外)有以下五种方法判断主备角色 操作系统上查看wal发送进程或wal接收线程 ...
10260 0
|
关系型数据库 Linux 数据库
PostgreSQL数据库异步的流复制
一、虚拟主机安装 1.使用VMware虚拟机安装CentOS操作系统操作系统环境CentOS Linux release 7.2.1511 (Core) 软件选择 选择安装GNOME桌面 安装位置 选择自动分区 2.通过克隆的方式,生成主备两台主机。
1826 0
|
关系型数据库 流计算