备案控制台
探索云世界
开发者社区 数据库 文章 正文

搭建一个高可用负载均衡的集群架构（第三部分）

2017-11-27 1244
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介：

1.使用脚本编写一个简单的文件分发系统即可，首先expect编写一个脚本文件rsync.expect，这个脚本是实现文件同步的脚本，内容如下：
expect编写一个脚本文件rsync.expect，这个脚本是实现文件同步的脚本，内容如下：

[root@localhost ~/syncList]# vim syncFile.expect
#!/usr/bin/expect
set host [lindex $argv 0]
set file [lindex $argv 1]
set passwd [lindex $argv 2]

# 核心命令，同步多个文件
spawn rsync -avR --files-from=$file / root@$host:/

expect {
"yes/no" { send "yes\r"}
"password:" { send "$passwd\r" }
}

expect eof
[root@localhost ~/syncList]# chmod a+x syncFile.expect

提示：如果你的rsync命令没有加-R选项的话，就需要确保目标机器也有这个文件列表中所定义的目录路径，不然就会报错。而且存放文件路径列表的文件内容不能有空格，不然会把这个空格看作为文件路径的一部分。

2.然后再编辑一个文本文件，这个文件用来放需要同步的文件列表，例如我这里需要同步以下几个文件：

[root@localhost ~/syncList]$ cat /tmp/fileList.txt 
/usr/local/nginx/conf/vhost/dedecms.com.conf 
/usr/local/nginx/conf/vhost/discuz.com.conf 
/usr/local/nginx/conf/vhost/zrlog.com.conf 
/usr/local/sbin/nginx_log_rotate.sh 
/var/spool/cron/root
[root@localhost ~/syncList]$

3.还需要编辑一个ip.txt文件，用于存放需要同步的目标机器的IP地址，例如我需要将文件都同步这几个IP的机器上：

[root@localhost ~/syncList]$ cat /root/webServerIP.txt 
192.168.200.153
192.168.200.154
192.168.200.155
192.168.200.156
192.168.200.157
192.168.200.158
192.168.200.159
192.168.200.160

4.再编写一个shell脚本syncFile.sh，这个脚本比较简单，只是遍历出ip.list文件内容然后交给syncFile.expect脚本去执行而已，示例：

#!/bin/bash
ipList="$1"
fileList="$2"
password="$3"
for ip in `cat $ipList`
do  
    # 第二个参数就是需要同步的文件列表
    ./syncFile.expect $ip $fileList $password
done

5.最后我们只需要执行syncFile.sh脚本即可实现批量同步多个文件：

[root@localhost ~/syncList]$ sh ./syncFile.sh "/root/webServerIP.txt" "/tmp/fileList.txt" "lri35krJF;ba"

我运行完之后，没有报错，文件也正常同步了，这样我们就实现了一个简单的文件分发系统，这个需求就实现了。

11 制定合理的mysql数据备份方案，并写备份脚本，要求把备份数据传输到备份服务器
这个mysql的主从已经可以满足备份的需求了，如果需要通过脚本另外备份，可以参考以下代码：

假定，我们知道mysql root账号的密码，要备份的库为discuz，本地备份目录为/bak/mysql, 远程服务器ip为192.168.123.30，远程提供了一个rsync服务，备份的地址是 192.168.200.149::backup . 写完脚本后，需要加入到cron中，每天凌晨3点执行。

#! /bin/bash
### backup mysql data
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/mysql/bin

d1=`data +%w`

d2=`date +%d`

pass="123456"

bakdir=/bak/mysql

r_bakdir=192.168.200.149::module/data/mysqlBackup

exec 1>/var/log/mysqlbak.log 2>/var/log/mysqlbak.log

echo "mysql backup begin at `date +"%F %T"`."

mysqldump -uroot -p$pass –default-character-set=utf8 ultrax >$bakdir/ultrax$d1.sql
mysqldump -uroot -p$pass –default-character-set=utf8 DedeCMS >$bakdir/DedeCMS$d1.sql
mysqldump -uroot -p$pass –default-character-set=utf8 zrlog >$bakdir/zrlog$d1.sql

rsync -az $bakdir/ultrax$d1.sql $r_bakdir/ultrax$d2.sql
rsync -az $bakdir/DedeCMS$d1.sql $r_bakdir/DedeCMS$d2.sql
rsync -az $bakdir/zrlog$d1.sql $r_bakdir/zrlog$d2.sql

echo "mysql backup end at `date +"%F %T"`."

接着加入cron：

0 3 * /bin/bash /usr/local/sbin/mysqlbak.sh

然后就会每天凌晨3点进行备份了。

12 制定代码、静态文件的备份方案，并写备份脚本，要求备份
13 编写数据恢复文档，能保证当数据丢失在2小时内恢复所有数据
以上这两个需求可以一起实现，结合起来就是两个小时同步一次文件，因为提到需要恢复所有数据，所以需要备份整个站点目录，备份的脚本修改一下分发系统那个expect脚本就可以了，代码如下：

[root@localhost ~]$ vim syncList/syncWebFile.expect
#!/usr/bin/expect
set host [lindex $argv 0]
set file [lindex $argv 1]
set passwd [lindex $argv 2]

spawn rsync -az $file root@$host:$file

expect {
"yes/no" { send "yes\r"}
"password:" { send "$passwd\r" }
}

interact
[root@localhost ~]$ chmod a+x /root/syncList/syncWebFile.expect

## shell 脚本
[root@localhost ~]$ vim /root/syncList/webBak.sh
#!/bin/bash
ip="$1"
webDir="$2"
password=`cat /etc/sync.passwd`
d=`date +%F" "%T`

echo "webdir backup begin at `date +"%F %T"`."

for dir in `cat $webDir`
do
    /root/syncList/syncWebFile.expect $ip $dir $password
done

echo "backup =  ip:$ip   time:$d;" >> /tmp/webSync.log

echo "webdir backup end at `date +"%F %T"`."

创建密码文件：

[root@localhost ~]$ vim /etc/sync.passwd
lri35krJF;ba
[root@localhost ~]$ chmod 600 /etc/sync.passwd

创建文件存放需要同步的目录路径列表：

[root@localhost ~]$ vim /tmp/webDir.txt
/data/wwwroot/discuz.com
/data/wwwroot/dedecms.com
/data/wwwroot/zrlog.com

在备份服务上创建目录：

mkdir -p /data/wwwroot/

8.测试一下能否进行同步：

[root@localhost ~]$ /bin/bash /root/syncList/webBak.sh "192.168.200.149" "/tmp/webDir.txt"
webdir backup begin at 2017-12-22 16:53:07.
spawn rsync -az -e ssh -i .ssh/id_rsa /data/wwwroot/discuz.com user1@192.168.200.149:/data/wwwroot/discuz.com
Enter passphrase for key '.ssh/id_rsa': 
spawn rsync -az -e ssh -i .ssh/id_rsa /data/wwwroot/dedecms.com user1@192.168.200.149:/data/wwwroot/dedecms.com
Enter passphrase for key '.ssh/id_rsa': 
spawn rsync -az -e ssh -i .ssh/id_rsa /data/wwwroot/zrlog.com user1@192.168.200.149:/data/wwwroot/zrlog.com
Enter passphrase for key '.ssh/id_rsa': 
webdir backup end at 2017-12-22 16:53:16.
[root@localhost ~]$

9.执行完脚本后到备份服务器上确认一下：

[root@localhost ~]$ ls /data/wwwroot/
dedecms.com  discuz.com  zrlog.com
[root@localhost ~]$ ls /data/wwwroot/dedecms.com/
dedecms.com
[root@localhost ~]$ ls /data/wwwroot/dedecms.com/dedecms.com/
a  data  dede  favicon.ico  images  include  index.php  logs  m  member  plus  robots.txt  tags.php  templets  uploads
[root@localhost ~]$ ls /data/wwwroot/zrlog.com/zrlog.com/
admin  assets  attached  error  favicon.ico  include  install  logs  META-INF  WEB-INF
[root@localhost ~]$ ls /data/wwwroot/discuz.com/discuz.com/
admin.php  api.php   config       cp.php           data         fileList.txt       forum.php  home.php   member.php  plugin.php  robots.txt  source  template   uc_server
api        archiver  connect.php  crossdomain.xml  favicon.ico  filePermission.sh  group.php  index.php  misc.php    portal.php  search.php  static  uc_client  userapp.php
[root@localhost ~]$

10.看看日志文件里有没有记录每次同步的时间：

[root@localhost ~]$ cat /tmp/webSync.log 
backup =  ip:192.168.200.149   time:2017-12-22 17:13:18;
[root@localhost ~]$

11.添加到任务计划里：

0 */2 * * * /bin/bash /root/syncList/webBak.sh "192.168.200.149" "/tmp/webDir.txt"

7 所有服务器要求只能普通用户登录，而且只能密钥登录，root只能普通用户sudo
1.首先使用visudo命令编辑配置文件，设置用户的alias：

User_Alias ADMINS = user1, user2, user3

然后批量执行useradd命令在全部服务器上添加user1、user2、user3用户

2.找到Allow root to run any commands anywhere，在这行下面添加以下内容：

ADMINS  ALL=(ALL)       NOPASSWD: /usr/bin/su, /usr/bin/ls, /usr/bin/cat, /usr/bin/mkdir

3.修改sshd.config配置文件，修改以下内容：

[root@localhost ~]$ vim /etc/ssh/sshd_config
PermitRootLogin no
PubkeyAuthentication yes
PasswordAuthentication no

重启服务：

systemctl restart sshd.service

4.新建/root/.ssh 文件夹，然后生成密钥

[root@localhost ~]$ mkdir /root/.ssh/
[root@localhost ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):   # 直接回车
Enter passphrase (empty for no passphrase):  # 设置密钥的密码
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
95:e1:79:b3:a0:4b:a0:d8:83:77:4e:88:96:8b:af:56 root@localhost.localdomain
The key's randomart image is:
+--[ RSA 2048]----+
|          .      |
|         . +     |
|      .   * o    |
|   * o . o o o   |
|  * * o S   .    |
| o E = . .       |
|. o   . .        |
| o               |
|o..              |
+-----------------+
[root@localhost ~]$

查看生成的密钥文件：

[root@localhost ~]$ cd .ssh/
[root@localhost ~/.ssh]$ ls
id_rsa  id_rsa.pub
[root@localhost ~/.ssh]$

把公钥的文件名修改成authorized_keys，并复制一份到user1用户的家目录下：

mv id_rsa.pub authorized_keys
mkdir /home/user1/.ssh/
touch /home/user1/.ssh/authorized_keys
cat /root/.ssh/authorized_keys > /home/user1/.ssh/authorized_keys

设置权限：

chmod 700 /home/user1/.ssh/
chmod 600 /home/user1/.ssh/authorized_keys
chown -R user1:user1 /home/user1/.ssh/

5.将id_rsa文件下载到本地。
搭建一个高可用负载均衡的集群架构（第三部分）

6.连接时选择这个文件，或者导入Xshell中：
搭建一个高可用负载均衡的集群架构（第三部分）

登录成功：
搭建一个高可用负载均衡的集群架构（第三部分）

7.然后把/etc/sudoers、/etc/ssh/sshd_config配置文件同步到所有机器上，密钥也一并同步，同步完之后记得重启sshd服务。

完成以上操作后，无论使用密钥或者是密码都无法远程登录root用户，只能登录普通用户了。

因为我们禁止了root远程登录，并且普通用户也只能密钥登录，所以之前写的那个备份文件的脚本需要进行更改，改成通过ssh指定密钥进行连接远程机器。
1.给刚刚生成的密钥文件授予700权限：

chmod 700 .ssh/id_rsa

2.使用ssh测试一下看看能否进行同步文件（user1的密钥文件我已经同步到所有机器上了）：

[root@localhost ~]$ rsync -av -e  "ssh -i .ssh/id_rsa" /tmp/fileList.txt user1@192.168.200.149:/tmp/fileList.txt
Enter passphrase for key '.ssh/id_rsa':   ## 这是生成密钥时设置的密码
sending incremental file list
fileList.txt

sent 269 bytes  received 31 bytes  28.57 bytes/sec
total size is 189  speedup is 0.63
[root@localhost ~]$

从结果可以看到，能够成功同步文件。

好，接下来修改之前的脚本，首先修改的是密码文件，将之前的登录密码改为生成密钥时设置的密码：

[root@localhost ~]$ vim /etc/sync.passwd
123456
[root@localhost ~]$

shell脚本不用修改，修改expect脚本如下：

[root@localhost ~]$ vim syncList/syncWebFile.expect
#!/usr/bin/expect
set host [lindex $argv 0]
set file [lindex $argv 1]
set passwd [lindex $argv 2]

spawn rsync -az -e  "ssh -i .ssh/id_rsa" $file user1@$host:$file

expect {
"yes/no" { send "yes\r"}
"'.ssh/id_rsa':" { send "$passwd\r" }
}

expect eof

到备份服务器上给/data/wwwroot/目录授予777权限：

chmod 777 /data/wwwroot/

然后测试一下该脚本：

[root@localhost ~]$ /bin/bash /root/syncList/webBak.sh "192.168.200.149" "/tmp/webDir.txt"
webdir backup begin at 2017-12-22 16:53:07.
spawn rsync -az -e ssh -i .ssh/id_rsa /data/wwwroot/discuz.com user1@192.168.200.149:/data/wwwroot/discuz.com
Enter passphrase for key '.ssh/id_rsa': 
spawn rsync -az -e ssh -i .ssh/id_rsa /data/wwwroot/dedecms.com user1@192.168.200.149:/data/wwwroot/dedecms.com
Enter passphrase for key '.ssh/id_rsa': 
spawn rsync -az -e ssh -i .ssh/id_rsa /data/wwwroot/zrlog.com user1@192.168.200.149:/data/wwwroot/zrlog.com
Enter passphrase for key '.ssh/id_rsa': 
webdir backup end at 2017-12-22 16:53:16.
[root@localhost ~]$

可以看到没有报错，同步成功，到备份服务器上看看：

[root@localhost ~]$ ls /data/wwwroot/
dedecms.com  discuz.com  zrlog.com
[root@localhost ~]$ ls /data/wwwroot/dedecms.com/
dedecms.com
[root@localhost ~]$ ls /data/wwwroot/dedecms.com/dedecms.com/
a  data  dede  favicon.ico  images  include  index.php  logs  m  member  plus  robots.txt  tags.php  templets  uploads
[root@localhost ~]$ ls /data/wwwroot/zrlog.com/zrlog.com/
admin  assets  attached  error  favicon.ico  include  install  logs  META-INF  WEB-INF
[root@localhost ~]$ ls /data/wwwroot/discuz.com/discuz.com/
admin.php  api.php   config       cp.php           data         fileList.txt       forum.php  home.php   member.php  plugin.php  robots.txt  source  template   uc_server
api        archiver  connect.php  crossdomain.xml  favicon.ico  filePermission.sh  group.php  index.php  misc.php    portal.php  search.php  static  uc_client  userapp.php
[root@localhost ~]$

没毛病 ，到目前为止这个项目就告一段落了，其中有一些细节还需慢慢处理，这些都是日后维护的问题了。



本文转自 ZeroOne01 51CTO博客，原文链接：http://blog.51cto.com/zero01/2052429，如需转载请自行联系原作者

文章标签：
负载均衡
云数据库 RDS MySQL 版
网络安全
关系型数据库
PHP
Shell
MySQL
关键词：
架构负载均衡
负载均衡架构
架构集群
高可用架构
架构高可用
相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
技术小阿哥
目录
相关文章
东风微鸣技术博客
|
2月前
|
负载均衡 关系型数据库 应用服务中间件
高可用系列文章之二 - 传统分层架构技术方案
高可用系列文章之二 - 传统分层架构技术方案
东风微鸣技术博客
43 0
基层搬砖的Panda
|
3月前
|
机器学习/深度学习 NoSQL Redis
Redis高可用之集群架构（第三部分）
Redis高可用之集群架构（第三部分）
基层搬砖的Panda
51 0
叫个什么名字
|
14天前
|
负载均衡 网络协议 Java
构建高效可扩展的微服务架构：利用Spring Cloud实现服务发现与负载均衡
本文将探讨如何利用Spring Cloud技术实现微服务架构中的服务发现与负载均衡，通过注册中心来管理服务的注册与发现，并通过负载均衡策略实现请求的分发，从而构建高效可扩展的微服务系统。
叫个什么名字
14 1
游客o5dx7dlccd5jm
|
1月前
|
存储 监控 NoSQL
Redis 架构深入：主从复制、哨兵到集群
大家好，我是小康，今天我们来聊下 Redis 的几种架构模式，包括主从复制、哨兵和集群模式。
游客o5dx7dlccd5jm
77 0
Redis 架构深入：主从复制、哨兵到集群
yuanzhengme
|
1月前
|
分布式计算 API 数据处理
Flink【基础知识 01】（简介+核心架构+分层API+集群架构+应用场景+特点优势）（一篇即可大概了解flink）
【2月更文挑战第15天】Flink【基础知识 01】（简介+核心架构+分层API+集群架构+应用场景+特点优势）（一篇即可大概了解flink）
yuanzhengme
55 1
我不是游客20240119
|
2月前
|
缓存 负载均衡 监控
从零开始搭建一个高可用的后端架构
【2月更文挑战第6天】本文将介绍如何从零开始搭建一个高可用的后端架构，包括架构设计、技术选型、部署和监控等方面。通过对各种技术的分析和实践，帮助读者深入理解高可用架构的实现和优化。
我不是游客20240119
136 0
一只牛博
|
2月前
|
存储 缓存 运维
解密一致性哈希算法：实现高可用和负载均衡的秘诀
解密一致性哈希算法：实现高可用和负载均衡的秘诀
一只牛博
120 0
hsfxuebao
|
2月前
|
网络协议 中间件 数据库
Zookeeper学习系列【三】Zookeeper 集群架构、读写机制以及一致性原理(ZAB协议)
Zookeeper学习系列【三】Zookeeper 集群架构、读写机制以及一致性原理(ZAB协议)
hsfxuebao
86 0
码哥字节
|
3月前
|
存储 负载均衡 NoSQL
Redis 高可用篇：你管这叫主从架构数据同步原理？
Redis 高可用篇：你管这叫主从架构数据同步原理？
码哥字节
237 5
鱼找水需要时间
|
3月前
|
Kubernetes 负载均衡 监控
Kubernetes高可用集群二进制部署（一）主机准备和负载均衡器安装
Kubernetes高可用集群二进制部署（一）主机准备和负载均衡器安装
鱼找水需要时间
94 0

热门文章

最新文章

  • 1
    ZooKeeper基本架构
  • 2
    探索现代Web应用中的微前端架构
  • 3
    负载均衡的原理
  • 4
    青团社：亿级灵活用工平台的云原生架构实践
  • 5
    深度剖析 RocketMQ 5.0，架构解析：云原生架构如何支撑多元化场景？
  • 6
    倚天使用|YODA倚天应用迁移神器，让跨架构应用迁移变得简单高效
  • 7
    360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
  • 8
    20行代码，Serverless架构下用Python轻松搞定图像分类和预测
  • 9
    十二年磨一剑：三代架构演进，打造高性能、低成本的块存储!
  • 10
    全新架构！日志服务 SLS 自研免登录方案发布
  • 1
    负载均衡的原理
    23
  • 2
    slb教学
    15
  • 3
    【二】SpringCloud Alibaba之Nacos整合篇（配置负载均衡）
    216
  • 4
    负载均衡产品优势
    18
  • 5
    阿里云负载均衡SLB
    51
  • 6
    技术浅析：基于云的DNS负载均衡如何实现？
    39
  • 7
    负载均衡原理与算法详述
    35
  • 8
    常见的负载均衡算法及其应用场景
    59
  • 9
    实现负载均衡策略：优化系统性能与可用性
    88
  • 10
    数据库性能优化（查询优化、索引优化、负载均衡、硬件升级等方面）
    53

    • 相关课程

    更多
  • Serverless 函数计算架构
  • 架构的演进
  • 阿里云负载均衡SLB实战演练
  • LVS负载均衡实战
  • 超大流量网站的负载均衡
  • 负载均衡入门与产品使用指南

    • 相关电子书

    更多
  • 《应用型负载均衡ALB产品解读》
  • 阿里云网络-SLB负载均衡产品介绍
  • 负载均衡SLB热点问题解答

    • 相关实验场景

    更多
  • MySQL引擎及架构优化
  • 使用ACK-Koordinator部署在离线混部应用
  • 基于数据湖架构的网站访问行为分析
  • 企业级ECS集群构建
  • 基于ACK Serverless实现容器应用弹性伸缩
  • 通过EDAS部署并访问应用
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4