实战mariadb-galera集群架构

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

day6

复习昨天的内容:

数据库代理--数据库中间件

功能:

负载均衡LB:将客户端请求以相对均衡的方式分发给后端的服务器;

读写分离:能够区分读和写,将相应的操作分汉给对应的服务;

分库分表分片:提高读性能,让后端服务器缓冲不同的数据;

sql路由并发查询:将一条 复杂的sql语句分成多条 sql语句,分发给后端对应的服务器。

软件:

mysql-proxyatlasmysql官方的,使用的公司有魔兽世界

mycat:在阿里马马cobar上的二次开发,是一个神话

 

数据库高可用――HA

1、什么是高可用?

表示法:百分比、9规则

例如:0.99999%代表一年中只能有5分钟的宕机时间(365*24*60*0.000015.256分)

宕机造成的损失和降低宕机时间所花费的成本的衡量

一般能做到两个93天)、398h)、4952.56分)

 

2、宕机的原因归纳

硬件上最普遍的问题是磁盘空间耗尽;

性能上最普遍的问题是糟糕的sql语句;

复制问题通常是主备数据不一致导致的;

人为误操作

 

3、如何实现高可用

降低故障率

优化架构

 

4、数据库高可用软件

mariadb  galera  cluster

mysql  NDB  cluster

 

5、mariadb  galera cluster

功能

同步复制

新节点加入自动同步数据

失效节点自动清除

优势

没有延迟

拓展能力强

适用架构


 

6、网络拓扑

序号

主机名

IP地址

必备软件(本例用mariadb-10.0.3)

1

node25

192.168.10.25

mariadb-servermariadb-cluster-server

2

node26

192.168.10.26

mariadb-servermariadb-cluster-server

3

node27

192.168.10.27

mariadb-servermariadb-cluster-server

4

node11

192.168.10.11

atlasmysql-proxyMyCatdbproxy代理软件

 

7、软件和版本:

下载安装

###galera-10.0.31官方rpm包下载(以下实验首选)

centos6版的galera-10.0.31软件(首选)http://yum.mariadb.org/10.0.31/centos6-amd64/rpms/

centos7版的galera-10.0.31软件(首选)http://yum.mariadb.org/10.0.31/centos7-amd64/rpms/

 

###galera-10.3官方rpm包下载(已测试OK)

centos6版的galera-10.3软件:http://yum.mariadb.org/10.3/centos6-amd64/rpms/

centos7版的galera-10.3软件: http://yum.mariadb.org/10.3/centos7-amd64/rpms/

 

专家建议:直接在官网下载整个rpms目录中的rpm软件包。然后在本地搭建galera安装包yum源,进行安装。

 

galera-10.0.31版的安装(本例已测OK)

 yum  search  galera

 yum  install  -y  MariaDB-Galera-server MariaDB-client galera  rsync mlocate  createrepo 

 rpm  -q  MariaDB-Galera-server  MariaDB-client galera

 ls   /etc/my.cnf.d/

 

galera-10.3版安装(测试OK)

yum  search   galera

yum install MariaDB-server  MariaDB-client  galera rsync  mlocate  createrepo -y  (配置方法同下)

rpm  -q  MariaDB-server  MariaDB-client  galera

ls   /etc/my.cnf.d/

 

galera集群配置思路:

1、在每台主机上停止运行mysqldmariadb服务。并设置服务为开机不启动。

2、在每台主机上安装galera软件,并启动mysql服务(此处是galera的服务)

3、在每台主机上创建用于galera同步数据的用户账号,停止mysql服务(此处是galera的服务)

4、设置每台galera主机的配置文件/etc/my.cnf.d/server.cnf,保证设置正确。

5、初始化启动第1galera主机的集群环境:

service  mysql stop

servicemysql start --wsrep-new-cluster

mysql-uroot -p -e  "show status like'wsrep_%';"

6、启动其他galera主机,验证集群状态:mysql -uroot -p -e  "show status like 'wsrep_%';"

 

 

8、修改hosts文件,实现本地主机名解析

修改系每台galera主机的hosts文件,实现本地域名解析(选做,不做也不影响)

高效率技巧:在一台主机上创建好,用scp远程推送复制到其他主机。

vi /etc/hosts    添加如下内容

  1. 192.168.10.25      node25

  2. 192.168.10.26     node26

  3. 192.168.10.27     node27

  4. 192.168.10.11     node11

 

9、关闭安全功能

配置防火墙规则,参考官方的说明,我这里偷懒就直接关闭了防火墙。

service  iptables  stop

chkconfig  iptables  off

setenforce  0

getenforce

sed  -i  '/^SELINUX=/s/enforcing/permissive/'   /etc/selinux/config

 

10、vsftpd在物理机共享galera软件包(192.168.10.1)。

1步:安装并共享galera软件包。

yum   install   -y   vsftpd   ftp  lftp

service   vsftpd   restart

chkconfig  vsftpd  on

cp  -rv   galera   /var/ftp/

firefox  ftp://127.0.0.1

 

2步:创建galera.repo网络yum源,并测试。

vi /etc/yum.repos.d/galera.repo

[7galera]

name=galera

baseurl=ftp://192.168.10.1/galera

enabled=1

gpgcheck=0

 

3步:测试yum源和仓库

yum  clean   all

yum  repolist

yum  search   galera

 

11、需要先卸载mariadb-libsmysql-libs

说明:不卸载会导致冲突,服务无法正常运行。

centos7

centos6.5

rpm  -e  mariadb-libs  --nodeps

rpm  -e  mariadb-common  --nodeps

rpm  -e  mysql-libs   --nodeps

rpm  -e  mysql-common  --nodeps

彻底卸载mysql-serveryum  remove   mysql-server   mysql   mysql-libs   mysql-compact

 

12、初始安装配置

安装MariaDBgalera软件

yum   search   galera

yum  install  -y  MariaDB-Galera-server   MariaDB-client galera  rsync   mlocate  createrepo 

rpm   -q  MariaDB-Galera-server   MariaDB-client galera

ls    /etc/my.cnf.d/

 

安装和初始化MariaDB数据库并启动MariaDB服务,并作安全加固

centos7

centos6.5

systemctl   restart   mysql

mysql_secure_installation

systemctl   stop   mysql

service    mysql   restart   

mysql_secure_installation

service  mysql  stop

说明:系统提供了mysqlmariadb两个服务脚本,可用service   mariadb  restart来重启。

附加需求:在每台主机启动mysql服务后,用grant创建两个Mysql账号,一个管理员账号admin,密码也用admin,再创建一个普通账号。

mysql -uroot

grant   all  on   *.*   to   admin@'%'    identified  by  'admin'   with    grant   option;

grant  all  on  *.* to  myroot@'%'  identified  by 'reppass'; 

FLUSH PRIVILEGES;

select   user,host,password  from  mysql.user;

exit

 

 

13、配置文件讲解

主配置文件:/etc/my.cnf

附加功能配置文件:/etc/my.cnf.d/*.cnf

 

galeraAPI动态链接库文件路径:

  updatedb

  locate  libgalera_smm.so

 

vi  /etc/my.cnf.d/galera.cnf   参考代码如下

[galera]

#Mandatory  settings

#启用wsrep  API接口

wsrep_on=ON

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

#启动节点时需要指定galera cluster的地址,作为cluster中第一个启动的节点wsrep_cluster_address="gcomm://",对于后续启动的节点用wsrep_cluster_address="gcomm://ip1,ip2,ip3  "

wsrep_cluster_address="gcomm://"

##wsrep_cluster_address="gcomm://192.168.100.70,192.168.10.71,192.168.10.72"

#集群名称(群名),所有node必须一样

wsrep_cluster_name="galera"

#本节点的地址

wsrep_node_address=192.168.100.70

#本节点名称

wsrep_node_name=node70

#Snapshot  Stat  Transfer快照状态转移方法:mysqldump/rsync,默认mysqldump

wsrep_sst_method=rsync

#mysqldump同步账号和密码(grant授权的账号和密码)

wsrep_sst_auth="myroot:reppass"

#binlog的格式也有三种:STATEMENTROWMIXED

binlog_format=ROW

#默认存储引擎

default_storage_engine=innodb

#调整锁策略

innodb_autoinc_lock_mode=2

#本机的监听地址

bind-address=0.0.0.0

#每隔0秒同步刷新数据

innodb_flush_log_at_trx_commit=0

#设置utf8为默认字符集

#character_set_server=utf8

#指定binlog日志文件

log-bin=mysql-bin

 

 

14、galera集群配置文件

node25主机的配置文件(192.168.10.25

vim  /etc/my.cnf.d/galera.cnf

[galera]

#Mandatory  settings

wsrep_on=ON

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

wsrep_cluster_address="gcomm://"

##wsrep_cluster_address="gcomm://192.168.10.25,192.168.10.26,192.168.10.27"

wsrep_cluster_name="galera"

wsrep_node_address=192.168.10.25

wsrep_node_name=node25

wsrep_sst_method=rsync

wsrep_sst_auth="myroot:reppass"

binlog_format=ROW

default_storage_engine=innodb

innodb_autoinc_lock_mode=2

bind-address=0.0.0.0

innodb_flush_log_at_trx_commit=0

#character_set_server=utf8

log-bin=mysql-bin

 

15、重启服务。

service   mysql   restart

 

#查看本机mysql服务端口

netstat    -ntpl | grep  sql

tcp   0   0 0.0.0.0:3306    0.0.0.0:*      LISTEN      15065/mysqld

tcp   0   0 0.0.0.0:4567    0.0.0.0:*      LISTEN      15065/mysqld

 

16、其他galera节点上面做相同的配置

需求:依次启动其他galera节点,其他节点会根据配置自动加入到集群中并同步数据,一定要关闭防火墙和SELinux安全功能。

service  iptables   stop  ; chkconfig   iptables  stop

setenforce  0  ;  getenforce

service firewalld   stop  ; chkconfig   firewalld  off

 

node26主机的配置文件(192.168.10.26

vim  /etc/my.cnf.d/galera.cnf

[galera]

#Mandatory  settings

wsrep_on=ON

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

##wsrep_cluster_address="gcomm://"

wsrep_cluster_address="gcomm://192.168.10.25,192.168.10.26,192.168.10.27"

wsrep_cluster_name="galera"

wsrep_node_address=192.168.10.26

wsrep_node_name=node26

wsrep_sst_method=rsync

wsrep_sst_auth="myroot:reppass"

binlog_format=ROW

default_storage_engine=innodb

innodb_autoinc_lock_mode=2

bind-address=0.0.0.0

innodb_flush_log_at_trx_commit=0

#character_set_server=utf8

log-bin=mysql-bin

 

说明:galer集群中的其他主机的galera.cnf配置文件请参考集群成员主机192.168.10.26node26)的配置文件。

 

17、观察日志

cat   /var/lib/mysql/node1.example.com.err

cat   /var/lib/mysql/grastate.dat

 

18、galera主机上查看集群状态

mysql  -uroot   -p

show   global  status   like   'wsrep%';

登录

查看集群wsrep接口状态

 

 

19、galera集群关机问题

1步:逐一关闭galera成员主机。

2步:最后关闭galera集群的群主主机。

 

异常处理:当机房突然停电,所有galera主机都非正常关机,来电后开机,会导致galera集群服务无法正常启动。如何处理?

 

20、galera集群开机问题。

1步:开启galera集群的群主主机的mysql服务。

2步:开启galera集群的成员主机的mysql服务。

 

异常处理:galera集群的群主主机和成员主机的mysql服务无法启动,,如何处理?

解决方法一:第1步、删除garlera群主主机的/var/lib/mysql/grastate.dat状态文件,service   mysql  restart重启服务。启动正常。登录并查看wsrep状态。

2步:删除galera成员主机中的/var/lib/mysql/grastate.dat状态文件,service   mysql  restart重启服务。启动正常。登录并查看wsrep状态。

 

解决方法二:第1步、修改garlera群主主机的/var/lib/mysql/grastate.dat状态文件中的01service   mysql  restart重启服务。启动正常。登录并查看wsrep状态。

2步:修改galera成员主机中的/var/lib/mysql/grastate.dat状态文件中的01service   mysql  restart重启服务。启动正常。登录并查看wsrep状态。

 

21、模拟故障实验

1、  安装了3个节点

2、  关闭第一个节点后重启服务,需要修改配置文件

3、  关闭第3个节点,去查看错误日志文件,在集群中创建库,重启服务,看是否能够同步到数据。

 

22、mysql-proxy数据库代理前端(中间件)

可用软件:atlasmysql-proxyMyCat

本例软件:Atlas代理

 

##安装配置atlas读写分离(192.168.10.11)

service iptables  stop

chkconfig iptables  off

setenforce  0

getenforce

sed  -i 's/^SELINUX=enforcing/SELINUX=permissive/'  /etc/selinux/config

grep '^SELINUX='  /etc/selinux/config

 

安装和配置atlas软件

rpm  -ivh  Atlas-2.2.1.el6.x86_64.rpm

echo"PATH=$PATH:/usr/local/mysql-proxy/bin/"  > /etc/profile.d/mysql-proxy.sh

source   /etc/profile.d/mysql-proxy.sh

ll  /usr/local/mysql-proxy/

 

##mysql-proxy文件功能说明:

bin目录下放的都是可执行文件

  1. encrypt”是用来生成MySQL密码加密的,在配置的时候会用到

  2. mysql-proxy”是MySQL自己的读写分离代理

  3. mysql-proxyd”是360弄出来的,后面有个“d”,服务的启动、重启、停止。都是用他来执行的

 

conf目录下放的是配置文件

  1. test.cnf”只有一个文件,用来配置代理的,可以使用vim来编辑

lib目录下放的是一些包,以及Atlas的依赖

log目录下放的是日志,如报错等错误信息的记录

进入bin目录,使用encrypt来对数据库的密码进行加密,我的MySQL数据的用户名是admin,密码是admin,我需要对密码进行加密

 

cd  /usr/local/mysql-proxy/bin/

./encrypt   admin     生成加密密码,并复制此密码la1Ux+Bu4zo=

cd  /usr/local/mysql-proxy/conf/

cp  -v  test.cnf test.cnf.bak    //备份test.cnf配置文件

vi   test.conf   修改后的读写分享的完整配置文件内容

[mysql-proxy]

admin-username = user

admin-password = pwd

proxy-backend-addresses =192.168.100.25:3306

proxy-read-only-backend-addresses =192.168.100.26:3306@1,192.168.100.27:3306@2

pwds = admin:la1Ux+Bu4zo=, myroot:esSF+VYp1RM=

daemon = true

keepalive = true

event-threads = 8

log-level = message

log-path = /usr/local/mysql-proxy/log

proxy-address = 0.0.0.0:3306

admin-address = 0.0.0.0:2345

 

设置mysql-proxyd开机启动:

echo  "/usr/local/mysql-proxy/bin/mysql-proxyd  test start"  >> /etc/rc.local

/usr/local/mysql-proxy/bin/mysql-proxyd  test  stop

source  /etc/rc.local

lsof  -i:3306    查端口

netstat  -atunlp |grep  sql     mysql网络进程

 

tcpdump抓包: tcpdump  -i  eth0  port  3306

说明:抓取经过192.168.10.11代理主机的eth0网卡的3306端口的数据包,验证读写分离效果。

 

登录测试:mysql  -uadmin  -padmin -h 192.168.10.11 -P3306

 

登录到atlas管理端:mysql  -uuser  -ppwd -h 192.168.10.11 -P2345

 

-------------------------------------------------

启动atlas服务:/usr/local/mysql-proxy/bin/mysql-proxyd  test start

重启atlas服务:/usr/local/mysql-proxy/bin/mysql-proxyd  test restart

查状态:/usr/local/mysql-proxy/bin/mysql-proxy  test status

 

 

23、phpadmin部署(centos7系统)

1步:安装软件。

yum  install  -y  httpd   php  php-mysql

yum  install  -y php-mbstring-5.4.16-36.el7_1.x86_64.rpm (要先下载此包)

wget phpMyAdmin-4.4.15-all-languages.tar.bz2

 

未完,待续.....

 

 

 

 

      本文转自rshare 51CTO博客,原文链接:http://blog.51cto.com/1364952/1955624,如需转载请自行联系原作者


相关文章
|
2月前
|
存储 安全 网络安全
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八
|
2月前
|
分布式计算 关系型数据库 大数据
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:九
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:九
|
2月前
|
存储 负载均衡 算法
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:一
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:一
|
2月前
|
存储 机器学习/深度学习 固态存储
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:二
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:二
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:二
|
2月前
|
存储 缓存 运维
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:三
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:三
|
2月前
|
存储 缓存 负载均衡
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:四
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:四
|
2月前
|
存储 缓存 运维
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:五
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:五
|
2月前
|
存储 负载均衡 分布式数据库
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:六
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:六
|
3月前
|
机器学习/深度学习 NoSQL Redis
Redis高可用之集群架构(第三部分)
Redis高可用之集群架构(第三部分)
|
25天前
|
运维 Linux Apache
LAMP架构调优(九)——Apache Rewrite功能实战
LAMP架构调优(九)——Apache Rewrite功能实战
12 1