lvs/dr+keepalived实现Web负载均衡Dr高可用
一、测试名称
lvs/dr模式下keepalived应用的测试
二、测试目的
目前有1台lvs/dr转发用户请求到后端web服务器,转发通过脚本控制。有两个问题需要解决,⑴、后端web服务器故障不能提供web服务时lvs/dr仍然向其转发请求;⑵、当lvs/dr故障时,将完全中断web服务。故需要使用软件实现自动增加删除故障web结点,同时实现lvs/dr的双机主备机制。
三、测试环境
1、本测试中使用4台服务器,包括2台lvs/dr和2台web/server。具体情况见下表,
说明,lvs-web 192.168.20.*与lvs-dr的内网相连,lvs-web 192.168.0.* 用于数据库的主从复制
2、当前状况如下图所示,
⑴、用户访问网站的请求首先到达lvs-dr1并通过脚本设置判断如何转发用户请求。
⑵、通过转发的用户请求被lvs-web1和lvs-web2响应后直接返回给客户端。
但是这样的方式可能出现如下问题,
⑴、当lvs-dr1故障时,无法再接受用户请求并将请求转发给真实的web服务器(即便真实web服务器正常)从而导致整个web服务的瘫痪,也就是lvs控制器存在单点故障问题。
⑵、当lvs-dr1正常时,真实地web服务器如lvs-web1故障。此时lvs-dr1并不知道真实服务器是否在正常提供web服务,所以仍然在向故障的lvs-web1转发用户请求。这样的结果是用户请求无法被故障web服务器相应,某些用户可以访问网站有些则无法访问。
注:服务器故障包括:服务器宕机、web服务终止、网线松动等等。
3、基于以上的问题,我们需要想办法实现对lvs控制器和web服务器的健康监测,一旦服务出现问题能保证服务不中断的情况下排除故障。即增加lvs控制器实现主备模式避免单点故障以及自动删除故障web服务结点并当它恢复后再自动添加到群集中这样的功能。
预期状况如下图所示,
通过上图所示实现以下功能
⑴、lvs-dr1和lvs-dr2采用主从的方式配置,从控制器通过心跳监测主控制器是否存在。当监测到主控制器不存在时接管虚拟IP实现向web服务器转发用户请求。
⑵、lvs控制器监控web服务器是否存在,当服务器出现故障(宕机、服务终止、网线松动)时自动删除故障结点,当服务器上线恢复提供服务后又能够自动将该结点添加到群集中。
注:
⑴、由于整个测试实施文档在非生产环境下完成,所以使用虚拟机软件VMWare Workstation作为以上所有结点的运行平台。
⑵、测试环境中所有结点的操作系统是Red Hat Enterprise 5.4,内核版本为2.6.18-164.el5。
如何查看系统和内核版本?
①、/etc/issue
②、uname -a
③、/proc/version
⑶、实现lvs群集的两个重要部件是ipvs内核模块和ipvsadm工具包。
当前内核版本的系统已经包含ipvs内核模块,但默认并没有加载到内核中,可以手工加载或安装ipvsadm之后会被加载。
使用modprobe命令手工加载ipvs模块并查询模块是否加载。
ipvsadm下载地址[url][/url]
⑷、keepalived是一个监测lvs转发器和web服务器状态的软件,下面是官方网站对keepalived的一段解释,官方网站地址[url][/url]
What is Keepalived ?
The main goal of the keepalived project is to add a strong & robust keepalive facility to the Linux Virtual Server project. This project is written in C with multilayer TCP/IP stack checks. Keepalived implements a framework based on three family checks : Layer3, Layer4 & Layer5/7. This framework gives the daemon the ability of checking a LVS server pool states. When one of the server of the LVS server pool is down, keepalived informs the linux kernel via a setsockopt call to remove this server entrie from the LVS topology. In addition keepalived implements an independent VRRPv2 stack to handle director failover. So in short keepalived is a userspace daemon for LVS cluster nodes healthchecks and LVS directors failover.
Why using Keepalived ?
If your are using a LVS director to loadbalance a server pool in a production environnement, you may want to have a robust solution for healthcheck & failover.
keepalived下载地址[url]/software/keepalived-1.1.15.tar.gz[/url]
⑸、web服务器上需要安装apache2,cronolog是选择安装软件,它可以格式化日志文件的格式,易于对apache日志的管理和分析。
Apache2下载地址
Cronolog下载地址[url][/url]
四、测试步骤
1、配置各个结点的主机名、IP地址。配置过程暂省略,如上面表格所示
注:修改主机名需要/etc/sysconfig/network和/etc/hosts两个文件,然后重新启动生效。
2、在lvs-dr1和lvs-dr2上安装ipvsadm和keepalived,过程如下:
⑴、安装ipvsadm,从官方网站下载ipvsadm-1.26.tar.gz后
# tar xvf ipvsadm-1.24.tar.gz
# cd ipvsadm-1.24
# ln -sv /usr/src/kernels/2.6.18-164.el5-i686 /usr/src/linux
Make && make install
或yum install ipvsadm –y
⑵、安装keepalived,从官方网站下载keepalived-1.1.15.tar.gz后
# tar xvf keepalived-1.1.15.tar.gz
# cd keepalived-1.1.15
# ./configure
Make && make install
# 查看keepalived位置 #
#cp
/usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
#cp
/usr/local/etc/sysconfig/keepalived /etc/sysconfig/
#mkdir
/etc/keepalived
#cp /usr/local/etc/keepalived/keepalived.conf
/etc/keepalived/
#cp /usr/local/sbin/keepalived /usr/sbin/
#service keepalived start|stop #做成系统启动服务方便管理.
3、在lvs-web1和lvs-web2上安装并配置apache和cronolog。
⑴、安装cronolog,从官方网站下载cronolog-1.6.2.tar.gz后
# tar xvf cronolog-1.6.2.tar.gz
# cd cronolog-1.6.2
# ./configure
# make && make install
⑵、安装apache,从官方网站下载httpd-2.2.19.tar.gz后
编译安装,此处省略…….
直接访问客户端
Web服务正常访问
4、使用ipvs脚本实现单台lvs控制器转发请求到两台web服务器
⑴、lvs-dr1/lvs控制器
①、ipvs脚本
#!/bin/sh
#chkconfig: 2345 20 80
# description: start LVS ofDirectorserver
VIP1=192.168.20.100
VIP2=192.168.20.101
RIP1=192.168.20.9
RIP2=192.168.20.10
. /etc/rc.d/init.d/functions
case "$1" in
start) echo " start LVSof DirectorServer"
# set the VirtualIP Address
/sbin/ifconfig eth0:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up
/sbin/ifconfig eth0:2 $VIP2 broadcast $VIP2 netmask 255.255.255.255 up
/sbin/route add -host $VIP1 dev eth0:0
/sbin/route add -host $VIP2 dev eth0:2
#Clear IPVS table
/sbin/ipvsadm -C
#set LVS
/sbin/ipvsadm -A -t $VIP1:80 -s wlc
/sbin/ipvsadm -A -t $VIP2:80 -s wlc
/sbin/ipvsadm -a -t $VIP1:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP1:80 -r $RIP2:80 –g
/sbin/ipvsadm -a -t $VIP2:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP2:80 -r $RIP2:80 -g
#Run LVS
/sbin/ipvsadm
#end
;;
stop)
echo "close LVS Directorserver"
/sbin/ipvsadm -C
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
②、lvs-dr1的网络配置
③、在/etc/rc.local中添加,脚本开机启动
⑵、web服务器/ lvs-web1和lvs-web2
①、ipvs脚本
#!/bin/bash
#
# lvsdrrs init script to hide loopback interfaces on LVS-DR
# Real servers. Modify this script to suit# your needs. You at least need to set the correct VIP address(es).
#
# Script to start LVS DR real server.
#
# chkconfig: 2345 20 80
# description: LVS DR real server
#
# You must set the VIP address to use here:
VIP1=192.168.20.100
VIP2=192.168.20.101
case "$1" in
start)
# Start LVS-DR real server on this machine.
/sbin/ifconfig lo down
/sbin/ifconfig lo up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
/sbin/ifconfig lo:0 $VIP1 netmask 255.255.255.255 up
/sbin/ifconfig lo:1 $VIP2 netmask 255.255.255.255 up
/sbin/route add -host $VIP1 dev lo:0
/sbin/route add -host $VIP2 dev lo:1
;;
stop)
# Stop LVS-DR real server loopback device(s).
/sbin/ifconfig lo:0 down
/sbin/ifconfig lo:1 down
;;
status)
# Status of LVS-DR real server.
islothere=`/sbin/ifconfig lo:0 | grep "$VIP1"`
isrothere=`netstat -rn | grep "$VIP1"`
if [ "$islothere" = "" -a "$isrothere" = "" ];then
# Either the route or the lo:0 device
# not found.
echo "LVS-DR real server Stopped."
else
echo "LVS-DR Running."
fi
;;
*)
# Invalid entry.
echo "$0: Usage: $0 {start|status|stop}"
exit 1
;;
esac
⑶、测试转发
①、在客户端浏览器访问192.168.20.100/192.168.20.101
使用ipvsadm -l查看控制器转发状态。
②、模拟web服务器故障,将lvs-web2网络中断。
我们会看到,当访问到web2是会显示,无妨访问网页……
说明:4,为利用ipvs实现转发
5、使用keepalived实现单台lvs控制器转发请求到两台web服务器,并且lvs控制器监控web服务器的状态并自动添加删除web结点。
⑴、在lvs控制器上安装keepalived后需要停止原来的lvsdr脚本,然后根据需要对keepalived配置文件进行调整,而web服务器的脚本和网络配置不需要进行任何改动。
①keepalived脚本
[root@lvs-dr1 keepalived]# pwd /etc/keepalived/keepalived.conf
/usr/local/etc/keepalived # keepalived配置文件的路径 #这里为:/etc/keepalived/keepalived.conf
[root@lvs-dr1 keepalived]# ll keepalived.conf
-rw-r--r-- 1 root root 1627 Aug 16 09:13 keepalived.conf # keepalived配置文件名 #
[root@lvs-dr1 keepalived]# more keepalived.conf (/etc/keepalived/keepalived.conf )
global_defs {
notification_email {
15301727316@189.cn
# failover@firewall.loc
# sysadmin@firewall.loc
}
notification_email_from zalifei@126.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
# 2011-09-05 by zyf
# VIP1
vrrp_instance VI_1 {
state MASTER 从为SLAVE
interface eth0
virtual_router_id 51
priority 100 从为99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.20.100
192.168.20.101
}
}
virtual_server 192.168.20.100 80 {
delay_loop 6
lb_algo wlc
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.20.9 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.20.10 80 {
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
virtual_server 192.168.20.101 80 {
delay_loop 6
lb_algo wlc
lb_kind DR
persistence_timeout 50
protocol TCP
real_server 192.168.1.20.9 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
real_server 192.168.20.10 80 {
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
# shell end
停掉lvs_dr.sh演示脚本
停止./lvs-dr.sh stop 将/etc/rc.local里面的开机启动内容删除
启动keepalived service keepalived start
访问192.168.20.100/192.168.20.101
此时,用户请求将只被转发到lvs-web1上。
启动web2服务,查看
启动httpd服务之后5秒之内lvs-web2又重新被加到转发列表中
控制器通过发送ICMP包判断lvs-web2已经不存在,所以将它从转发列表中删除。lvs-dr1会根据配置文件不断监测real_server,当lvs-web2重新上线并能够提供web服务之后dr1又会重新将web2添加到转发列表中。
这个过程删除和添加web结点的过程与上面停止httpd服务的完全一致的,在此不再赘述。这些过程只是在服务器端进行,对于用户来说是完全透明的,他们并不会感受到服务器端正在发生的变化。
6、避免lvs控制器单点故障,添加lvs-dr2到群集中使用keepalived实现控制器的主备。
⑴、keepalived配置文件 /etc/keepalived/keepalived.conf
[root@lvs-dr1 keepalived]# pwd
/usr/local/etc/keepalived # keepalived配置文件位置 #这里为:/etc/keepalived/keepalived.conf
[root@lvs-dr1 keepalived]# ll keepalived.conf
-rw-r--r-- 1 root root 1624 Aug 16 23:19 keepalived.conf
[root@lvs-dr1 keepalived]# more keepalived.conf
如上keepalived.conf,不在累述
启动keepalived服务,service keepalived start
测试
主:
停止主keepalived服务,service keepalive stop
好了,到这里基本架构已完成,多亏网络大侠的帮助,继续努力...
阅读(2956) | 评论(0) | 转发(0) |