IPVS-DR+heartbeat+ldirectord实现高可用负载均衡集

科技小能手 2017-11-13

高可用 配置 集群 测试 负载均衡 kernel HA Ping html service

 IPVS-DR+heartbeat+ldirectord实现高可用负载均衡集群

一、环境
节点类型      主机名    ip地址   
lvs-master    node0     eth0:192.168.32.30  
                        eth1:10.160.100.30  heart
vip:192.168.32.21
lvs-backup    node1     eth0:192.168.32.31  
                        eth1:10.160.100.31  heart
vip:192.168.32.21
RealServer1   node2     eth0:192.168.32.32  
                        eth1:10.160.100.32   
RealServer2   node3     eth0:192.168.32.33  
                        eth1:10.160.100.33
二、安装
1、安装libnet
[root@node1 ~]# tar -zxvf libnet-1.1.4.tar.gz
[root@node1 ~]# cd libnet-1.1.4
[root@node1 libnet-1.1.4]# ./configure
[root@node1 libnet-1.1.4]# make;make install
#libnet是一个高层次API工具,使用heartbeat需要用到他
 
2、安装heartbeat
[root@node1 ~]# tar -zxvf heartbeat-2.1.3.tar.gz 
[root@node1 ~]# cd heartbeat-2.1.3
[root@node1 heartbeat-2.1.3]# ./ConfigureMe configure --disable-swig --disable-snmp-subagent
[root@node1 heartbeat-2.1.3]# make ; make install
 
[root@node1 heartbeat-2.1.3]# cp doc/ha.cf doc/haresource doc/anthkeys /etc/ha.d/
#heartbeat复制样本配置文件(ha.cf、haresources、authkeys要到/etc/ha.d目录下面
 
[root@node1 heartbeat-2.1.3]# cp ldirectord/ldiretord.cf /etc/ha.d/  
#复制ldirectord的配置文件至/etc/ha.d目录下
 
[root@node1 heartbeat-2.1.3]# grouadd -g 694 haclient  
#添加heartbeat运行需要的haclient组
 
[root@node1 heartbeat-2.1.3]# useradd -u 694 -g 694 hacluster  
#添加heartbeat运行需要的hacluster用户
 
#heartbeat的安装包中默认包含ldirectord插件,该插件主要用于管理负载均衡,为保证ldirectord可用还行安装perl-Mailtools
 
[root@node1 ~]# yum install perl-TimeDate.noarch
[root@node1 ~]# rpm -ivh perl-MailTools-2.04-1.el5.rf.noarch.rpm
#安装ldirectord正常运行所需依赖工具
 
3、安装ipvsadm
[root@node1 ~]# yum install ipvsadm.i386
[root@node1 ~]# modprobe -l | grep ipvs
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_dh.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_ftp.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lblc.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lblcr.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_lc.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_nq.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_rr.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_sed.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_sh.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_wlc.ko
/lib/modules/2.6.18-194.el5PAE/kernel/net/ipv4/ipvs/ip_vs_wrr.ko
#查看内核是否加载ipvs模块
 
三、配置ldirectord
[root@node1 ~]# vim /etc/ha.d/ldirectord.cf
checktimeout=3   #检测超时时间
checkinterval=1  #检测时间
autoreload=yes   #配置文件改动时是否自动加载
logfile="/var/log/ldirectord.log"    # ldirectord日志路径
quiescent=yes    #检测到real server异常后是否保留该real server的配置
 
virtual=192.168.32.21:80                 #VIP
        real=192.168.32.32:80 gate  #Real Server1
        real=192.168.32.33:80 gate  #Real Server2
        service=http
        request="test.html"     
        #要求httpd根下必须存在test.html文件且内容为receive参数所定义
        receive="test"
        virtualhost=httpd       #随意定义
        scheduler=rr            #LVS负载算法,rr:轮询
persistent=600          #连接会话保持时间
        protocol=tcp          
        checktype=negotiate     #通过交互来判断服务是否正常
        checkport=80
 
[root@node1 ~]# scp /etc/ha.d/ldirectord node0:/etc/ha.d/ldirectord
#确保两lvs主机(node0和node1)ldirectord.cf文件内容完全一样
 
四、heartbeat(两台lvs服务器node0和node1配置完全一样)
1、heartbeat主配置文件(/etc/ha.d/ha.cf)
[root@node1 ha.d]# vim /etc/ha.d/ha.cf
#debugfile /var/log/ha-debug  
logfile /var/log/ha-log   
#指名heartbeat的日志存放位置。
 
#crm yes     
#是否开启Cluster Resource Manager(集群资源管理)功能。  
 
bcast eth1   
#指明心跳使用以太网广播方式,并且是在eth1接口上进行广播。  
 
keepalive 2 
#指定心跳间隔时间为2秒(即每两秒钟在eth1上发送一次广播)。  
 
deadtime 30 
#指定备用节点在30秒内没有收到主节点的心跳信号后,则立即接管主节点的服务资源。  
 
warntime 10 
#指定心跳延迟的时间为十秒。当10秒钟内备份节点不能接收到主节点的心跳信号时,就会往日志中写入一个警告日志,但此时不会切换服务。  
 
initdead 120  
#在某些系统上,系统启动或重启之后需要经过一段时间网络才能正常工作,该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两
倍。   
 
udpport 694   #设置广播通信使用的端口,694为默认使用的端口号。  
 
#baud 19200    #设置串行通信的波特率。  
#serial /dev/ttyS0   #选择串行通信设备,用于双机使用串口线连接的情况。如果双机使用以太网。  
 
#ucast eth0 192.168.1.2 #采用网卡eth1的udp单播来组织心跳,后面跟的IP地址应为双机对方的IP地址。 
 
#mcast eth0 225.0.0.1 694 1 0 #采用网卡eth0的Udp多播来组织心跳,一般在备用节点不止一台时使用。Bcast、ucast和mcast分别代表广播、单播和多播,是组织心跳的三种方式,任选其一即可。
 
auto_failback on 
#用来定义当主节点恢复后,是否将服务自动切回,heartbeat的两台主机分别为主节点和备份节点。主节点在正常情况下占用资源并运行所有的服务,遇到故障时把资源交给备份节点并由备份节点运行服务。在该选项设为on的情况下,一旦主节点恢复运行,则自动获取资源并取代备份节点,如果该选项设置为off,那么当主节点恢复后,将变为备份节点,而原来的备份节点成为主节点。  
 
#stonith baytech /etc/ha.d/conf/stonith.baytech   
# stonith的主要作用是使出现问题的节点从集群环境中脱离,进而释放集群资源,避免两个节点争用一个资源的情形发生。保证共享数据的安全性和完整性。  
 
#watchdog /dev/watchdog 
#该选项是可选配置,是通过Heartbeat来监控系统的运行状态。使用该特性,需要在内核中载入"softdog"内核模块,用来生成实际的设备文件,如果系统中没有这个内核模块,就需要指定此模块,重新编译内核。编译完成输入"insmod softdog"加载该模块。然后输入"grep misc /proc/devices"(应为10),输入"cat /proc/misc |grep watchdog"(应为130)。最后,生成设备文件:"mknod /dev/watchdog c 10 130" 。即可使用此功能。
 
node node0   #主节点主机名,可以通过命令“uanme –n”查看。  
node node1   #备用节点主机名。  
 
ping 192.168.32.254
#选择ping的节点,ping 节点选择的越好,HA集群就越强壮,可以选择固定的路由器作为ping节点,但是最好不要选择集群中的成员作为ping节点
,ping节点仅仅用来测试网络连接。  
 
#ping_group group1 192.168.12.251 192.168.12.239   #类似于ping。  
 
#respawn hacluster /usr/local/ha/lib/heartbeat/ipfail  
#apiauth pingd gid=haclient uid=hacluster 
apiauth pingd gid=root uid=root
 
respawn hacluster /usr/local/ha/lib/heartbeat/pingd -m 100 -d 5s 
#该选项是可选配置,列出与heartbeat一起启动和关闭的进程,该进程一般是和heartbeat集成的插件,这些进程遇到故障可以自动重新启动。最常用的进程是pingd,此进程用于检测和监控网卡状态,需要配合ping语句指定的ping node来检测网络的连通性。其中hacluster表示启动pingd进程的身份。  
#下面的配置是关键,也就是激活crm管理,开始使用v2 style格式  
 
crm respawn   
#注意,还可以使用crm yes的写法,但这样写的话,如果后面的cib.xml配置有问题  
#会导致heartbeat直接重启该服务器,所以,测试时建议使用respawn的写法  
 
#下面是对传输的数据进行压缩,是可选项  
compression     bz2  
compression_threshold 2  
#注意,v2 style不支持ipfail功能,须使用pingd代替  
 
[root@node1 ~]# scp /etc/ha.d/ha.cf node0:/etc/ha.d/ha.cf
#拷贝主配置文件到node0上
 
2、认证文件(/etc/ha.d/authkeys)
[root@node1 resource.d]# vim /etc/ha.d/authkeys
auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!
 
#authkeys文件用于设定heartbeat的认证方式,共有三种可用的认证方式:crc、md5和sha1,三种认证方式的安全性依次提高,但是占用的系统资源也依次增加。如果heartbeat集群运行在安全的网络上,可以使用crc方式,如果HA每个节点的硬件配置很高,建议使用sha1,这种认证方式安全级别最高,如果是处于网络安全和系统资源之间,可以使用md5认证方式。无论auth后面指定的是什么数字,在下一行必须作为关键字再次出现,例如指定了“auth 6”,下面一定要有一行“6 认证类型”。最后确保这个文件的权限是600(即-rw-------)。
 
[root@node1 ~]# scp /etc/ha.d/authkeys node0:/etc/ha.d/authkeys
#拷贝认证文件到node0上
 
3、资源文件
[root@node1 ~]# vim /etc/ha.d/haresources
node0 IPaddr2::192.168.32.21/24/eth0 ldirectord::ldirectord.cf LVSSyncDaemonSwap::master
#添加VIP,通过ldirectord启动lvs配置
 
#haresources文件用于指定双机系统的主节点、集群IP、子网掩码、广播地址以及启动的服务等集群资源,文件每一行可以包含一个或多个资源脚本名,资源之间使用空格隔开,参数之间使用两个冒号隔开,在两个HA节点上该文件必须完全一致,此文件的一般格式为:
node-name network  <resource-group> 
#node-name表示主节点的主机名,必须和ha.cf文件中指定的节点名一致,network用于设定集群的IP地址、子网掩码、网络设备标识等,需要注意的是,这里指定的IP地址就是集群对外服务的IP地址,resource-group用来指定需要heartbeat托管的服务,也就是这些服务可以由heartbeat来启动和关闭,如果要托管这些服务,必须将服务写成可以通过start/stop来启动和关闭的脚步,然后放到/etc/init.d/或者/etc/ha.d/resource.d/目录下,heartbeat会根据脚本的名称自动去/etc/init.d或者/etc/ha.d/resource.d/目录下找到相应脚步进行启动或关闭操作。
 
[root@node1 ~]# scp /etc/ha.d/haresources node0:/etc/ha.d/haresources
#拷贝资源文件到node0上
 
五、RealServer(node2和node3)配置
1、生成负载均衡VIP脚本(node2和node3一样)
[root@node2~] # vim /etc/rc.d/init.d/lvsrs   #
#!/bin/bash
#discription : Start Real Server
VIP=192.168.32.21
. /etc/rc.d/init.d/functions
case "$1" in
  start)
  echo "Start LVS of Real Server"
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
  echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
  echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
  ;;
  stop)
/sbin/ifconfig lo:0 down
  echo "Close LVS of Director Server" 
  echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
  echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
  echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
  ;;
  *)
  echo "Usage : $0 {start|stop}"
  exit 1
esac
 
[root@node2~] # chmod a+x /etc/rc.d/init.d/lvsrs   #给脚本增加可执行权限,然后启动并设置为开机启动:
 
2、生成测试文件
[root@node2~] # echo "test"> /var/www/html/test.html  #ldirectord测试页,文件名和内容与ldirectord.cf中定义一样
[root@node2~] # echo "I am node2; My Ip:10.160.100.32"> /var/www/html/index.html
 
[root@node3~] # echo "test"> /var/www/html/test.html  #ldirectord测试页,文件名和内容与ldirectord.cf中定义一样
[root@node3~] # echo "I am node3; My Ip:10.160.100.33"> /var/www/html/index.html
 
六、启动测试
1、启动服务
[root@node0 ~]# service heartbeat start
[root@node0 ~]# chkconfig heartbeat on
[root@node1 ~]# service heartbeat start
[root@node1 ~]# chkconfig heartbeat on
 
[root@node2 ~]# service lvsrs start
[root@node2 ~]# chkconfig lvsrs on
[root@node2 ~]# service httpd start
[root@node2 ~]# chkconfig httpd on
 
[root@node3 ~]# service lvsrs start
[root@node3 ~]# chkconfig lvsrs on
[root@node3 ~]# service httpd start
[root@node3 ~]# chkconfig httpd on
2、测试
[root@node0 ~]# ip addr show | grep 192.168.32.21
    inet 192.168.32.21/24 brd 192.168.32.255 scope global secondary eth0
#node0的eth0网口已经添加vip
 
[root@node0 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.32.21:80 rr
  -> 192.168.32.32:80             Route   1      0          1         
  -> 192.168.32.33:80             Route   1      0          1       
#node0的lvs配置生效
 
[root@node0 ~]# iptables -A OUTPUT -d 192.168.32.254 -p icmp -j REJECT  #人为断开网络
 
[root@node1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.32.21:80 rr
  -> 192.168.32.32:80             Route   1      0          0         
  -> 192.168.32.33:80             Route   1      0          0         
#lvs自动切换到node1上,说明heartbeat双机机制成功
 
realserver配置测试略,通过ie访问可得到web内容再2s轮询方式切换
 
本文转自netsword 51CTO博客,原文链接:http://blog.51cto.com/netsword/769156

登录 后评论
下一篇
云栖号资讯小编
1520人浏览
2020-04-07
相关推荐
LVS+Heartbeat
1062人浏览
2017-11-23 18:13:00
Linux 高可用性研究
845人浏览
2017-11-14 18:25:00
Linux 集群大全
1504人浏览
2014-07-05 11:23:00
我也来发个LVS集群的文档
457人浏览
2008-02-15 15:39:00
0
0
0
745