利用LVS+Keepalived 实现高性能高可用负载均衡服务器

        随着你的网站业务量的增长你网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如F5
又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要的浪费？同时实现商业硬件一样的高性能
高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？答案是肯定的！有！我们利用LVS+Keepalived
基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

LVS+Keepalived 介绍
LVS
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。
本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡
技术（VS/NAT、VS/TUN和VS/DR）；
十种调度算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）。

Keepalvied
               Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机
和BackUP主机之间failover的实现
二. 网站负载均衡拓朴图

IP信息列表：
名称        IP

CODE:

LVS-DR-Master     61.164.122.6  
LVS-DR-BACKUP     61.164.122.7        
LVS-DR-VIP      61.164.122.8        
WEB1-Realserver    61.164.122.9        
WEB2-Realserver    61.164.122.10        
GateWay        61.164.122.1        三. 安装LVS和Keepalvied软件包
   1. 下载相关软件包

CODE:

#mkdir /usr/local/src/lvs
#cd /usr/local/src/lvs
#wget
#wget 安装LVS和Keepalived

CODE:

#lsmod |grep ip_vs
#uname -r
2.6.18-53.el5PAE
#ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/  /usr/src/linux

#tar zxvf ipvsadm-1.24.tar.gz
#cd ipvsadm-1.24
#make && make install
#find / -name ipvsadm  # 查看ipvsadm的位置

#tar zxvf keepalived-1.1.15.tar.gz
#cd keepalived-1.1.15
#./configure  && make && make install
#find / -name keepalived  # 查看keepalived位置               
   
#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
#mkdir /etc/keepalived
#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
#cp /usr/local/sbin/keepalived /usr/sbin/
#service keepalived start|stop     #做成系统启动服务方便管理. Normal 0 7.8 磅 0 2 false false false MicrosoftInternetExplorer4 /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-parent:""; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:10.0pt; font-family:"Times New Roman"; mso-fareast-font-family:"Times New Roman"; mso-ansi-language:#0400; mso-fareast-language:#0400; mso-bidi-language:#0400;}

编译keepalived注意红字必须为Yes否则可能内核版本不一致引起的

如：ln –s /usr/src/kernels/2.6.9-5.EL-i686　 /usr/src/linux

……………省略……………………………………

Keepalived configuration

------------------------

Keepalived version       : 1.1.15

Compiler                 : gcc

Compiler flags           : -g -O2

Extra Lib                : -lpopt -lssl -lcrypto

Use IPVS Framework       : Yes

IPVS sync daemon support : Yes

Use VRRP Framework       : Yes

Use LinkWatch            : No

Use Debug flags          : No

……………结束……………………………………

四. 配置LVS实现负载均衡
  1． LVS-DR，配置LVS脚本实现负载均衡
注: 此脚本在于演示方便大家理解lvs,在keepalived方案中不要启动此脚本，所以看后面有注掉，很多朋友对此有问题。关于LVS的keepalvied的HA方案，完全由keepalived.conf一个文件搞定，特此声明！

CODE:

#vi /usr/local/sbin/lvs-dr.sh
#!/bin/bash
# description: start LVS of DirectorServer
#Written by :NetSeek
        
GW=61.164.122.1
# website director vip.
SNS_VIP=61.164.122.8
SNS_RIP1=61.164.122.9
SNS_RIP2=61.164.122.10
./etc/rc.d/init.d/functions
logger $0 called with $1
case "$1" in
 start)
# set squid vip
/sbin/ipvsadm --set 30 5 60
/sbin/ifconfig eth0:0 $SNS_VIP broadcast $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP up
/sbin/route add -host $SNS_VIP dev eth0:0
/sbin/ipvsadm -A -t $SNS_VIP:80 -s wrr -p 3
/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1:80 -g -w 1
/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2:80 -g -w 1
touch /var/lock/subsys/ipvsadm >/dev/null 2>&1

;;
stop)
 /sbin/ipvsadm -C
 /sbin/ipvsadm -Z
 ifconfig eth0:0 down
 route del $SNS_VIP
 rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1
 echo "ipvsadm stoped"
;;

status)

 if [ ! -e /var/lock/subsys/ipvsadm ];then
 echo "ipvsadm stoped"
 exit 1
   else
   echo "ipvsadm OK"
 fi
;;

*)
 echo "Usage: $0 {start|stop|status}"
 exit 1
esac
exit 0
      2． 配置Realserver脚本.

CODE:

#vi /usr/local/sbin/realserver.sh
#!/bin/bash
# description: Config realserver lo and apply noarp
#Written by :NetSeek
        
SNS_VIP=61.164.122.8
         
. /etc/rc.d/init.d/functions
         
 case "$1" in
start)
ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
/sbin/route add -host $SNS_VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"

;;
stop)
ifconfig lo:0 down
route del $SNS_VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
  esac
         
exit 0
     或者采用secondary ip address方式配置
          # vi /etc/sysctl.conf

CODE:

net.ipv4.conf.lo.arp_ignore = 1
 net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[code]
#sysctl –p
#ip addr add 61.164.122.8/32 dev lo
#ip add list 查看是否绑定
3. 启动lvs-dr脚本和realserver启本，在DR上可以查看LVS当前状态:
#watch ipvsadm –ln五．利用Keepalvied实现负载均衡和和高可用性
  1.配置在主负载均衡服务器上配置keepalived.conf
  #vi /etc/keepalived/keepalived.conf

CODE:

! Configuration File for keepalived

global_defs {
   notification_email {
         [e-mail]
   }
   notification_email_from [e-mail]
   smtp_server 127.0.0.1
  # smtp_connect_timeout 30
   router_id LVS_DEVEL
}

# 20081013 written by :netseek
# VIP1
vrrp_instance VI_1 {
    state MASTER             #备份服务器上将MASTER改为BACKUP   
    interface eth0
    virtual_router_id 51
    priority 100    # 备份服务上将100改为99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        61.164.122.8   
        #(如果有多个VIP，继续换行填写.)
    }
}

virtual_server 61.164.122.8 80 {
    delay_loop 6    #(每隔10秒查询realserver状态)
    lb_algo wrr     #(lvs 算法)
    lb_kind DR      #(Direct Route)
    persistence_timeout 60  #(同一IP的连接60秒内被分配到同一台realserver)
    protocol TCP       #(用TCP协议检查realserver状态)

    real_server 61.164.122.9 80 {
        weight 3      #(权重)
        TCP_CHECK {
        connect_timeout 10  #(10秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 61.164.122.10 80 {
        weight 3
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}
       2. BACKUP服务器同上配置，先安装lvs再按装keepalived,仍后配置/etc/keepalived/keepalived.conf，只需将红色标示的部分改一下即可.

3. 停掉lvs_dr.sh演示脚本
   vi /etc/rc.local
   #/usr/local/sbin/lvs-dr.sh  将lvs-dr.sh这个脚本注释掉。
   #/usr/local/sbin/lvs-dr.sh stop 停止lvs-dr脚本
   #/etc/init.d/keepalived start  启动keepalived 服务，keepalived就能利用keepalived.conf 配置文件，实现负载均衡和高可用.
     整个LVS负均衡HA方案，由keepalived.conf一个文件即可搞定！

4. 查看lvs服务是否正常
  #watch ipvsadm –ln

CODE:

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddressort Scheduler Flags
  -> RemoteAddressort           Forward Weight ActiveConn InActConn
TCP  61.164.122.8:80 wrr persistent 60
  -> 61.164.122.10:80            Route   3      0          0
  -> 61.164.122.9:80             Route   3      0          0#tail –f /var/log/message  监听日志，查看状态，测试LVS负载均衡及高可用性是否有效。

5．停Master服务器的keepalived服务，查看BAKCUP服务器是否能正常接管服务。



6. keepalived还可以做HA 与heartbeat差不多
这是主服务器上的配置
vrrp_instance VI_INET1 {
         state BACKUP
         interface eth0
         virtual_router_id 53
         priority 100
         advert_int 1
         notify_master "/etc/init.d/httpd start"
         nopreempt   
         authentication {
                 auth_type pass
                 auth_pass 1111
         }
         virtual_ipaddress {
                 192.168.9.105
                 192.168.9.106
         }
}

注意 这里的两台配置文件都是state BACKUP 还有 nopreempt  这样是为了防止频繁切换
-----------------------------------------------------------------
这是备用服务器上的配置
vrrp_instance VI_INET1 {
         state BACKUP
         interface eth0
         virtual_router_id 53
         priority 99
         advert_int 1
         notify_master "/etc/init.d/httpd start"
         nopreempt  
         authentication {
                 auth_type pass
                 auth_pass 1111
         }
         virtual_ipaddress {
                 192.168.9.105
                 192.168.9.106
         }
}

=============================================
以下是参考用：


1.lvs调度算法.
-s 指定服务采用的算法，常用的算法参数如下：
* rr   轮叫（Round Robin）
调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。
* wrr   加权轮叫（Weighted Round Robin）
调度器通过”加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
* lc   最少链接（Least Connections）
调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。
* wlc   加权最少链接（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用”加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
* lblc   基于局部性的最少链接（Locality-Based Least Connections）
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近 使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用”最少链接” 的原则选出一个可用的服务器，将请求发送到该服务器。
* lblcr   带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
”带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按”最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按”最小连接”原则从这个集群中选出一 台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的 程度。
* dh   目标地址散列（Destination Hashing）
“目标地址散列”调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
* sh   源地址散列（Source Hashing）
“源地址散列”调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

2 配置文件keepalived.conf

一个功能比较完整的keepalived的配置文件，其配置文件keepalived.conf可以包含三个文本块：全局定义块、VRRP实例定义块及虚拟服务器定义块。全局定义块和虚拟服务器定义块是必须的，如果在只有一个负载均衡器的场合，就不须VRRP实例定义块。

接下来，我们以一个配置文件模版为例，有选择的说明其中一些重要项的功能或作用。

#全局定义块

global_defs {

notification_email {

email

email

}

notification_email_from email

smtp_server host

smtp_connect_timeout num

lvs_id string

}

#VRRP实例定义块

vrrp_sync_group string {

group {

string

string

}

vrrp_instance string {

state MASTER|BACKUP

interface string

mcast_src_ip @IP

lvs_sync_daemon_interface string

virtual_router_id num

priority num

advert_int num

smtp_alert

authentication {

auth_type PASS|AH

auth_pass string

}

virtual_ipaddress { # Block limited to 20 IP addresses

@IP

@IP

@IP

}

virtual_ipaddress_excluded { # Unlimited IP addresses number

@IP

@IP

@IP

}

#虚拟服务器定义块

virtual_server (@IP PORT)|(fwmark num) {

delay_loop num

lb_algo rr|wrr|lc|wlc|sh|dh|lblc

lb_kind NAT|DR|TUN

(nat_mask @IP)

persistence_timeout num

persistence_granularity @IP

virtualhost string

protocol TCP|UDP

sorry_server @IP PORT

real_server @IP PORT {

weight num

TCP_CHECK {

connect_port num

connect_timeout num

}

}

real_server @IP PORT {

weight num

MISC_CHECK {

misc_path /path_to_script/script.sh

(or misc_path “/path_to_script/script.sh ”)

}

}

real_server @IP PORT {

weight num

HTTP_GET|SSL_GET {

url { # You can add multiple url block

path alphanum

digest alphanum

}

connect_port num

connect_timeout num

nb_get_retry num

delay_before_retry num

}

}

}

● 全局定义块

1、 email通知。作用：有故障，发邮件报警。这是可选项目，建议不用，用nagios全面监控代替之。

2、 Lvs负载均衡器标识（lvs_id）。在一个网络内，它应该是唯一的。

3、 花括号“{}”。用来分隔定义块，因此必须成对出现。如果写漏了，keepalived运行时，不会得到预期的结果。由于定义块内存在嵌套关系，因此很容易遗漏结尾处的花括号，这点要特别注意。

● VRRP定义块

1、 同步vrrp组vrrp_sync_group。作用：确定失败切换（FailOver）包含的路由实例个数。即在有2个负载均衡器的场景，一旦某个负载均衡器失效，需要自动切换到另外一个负载均衡器的实例是哪些？

2、 实例组group.至少包含一个vrrp实例。

3、 Vrrp实例vrrp_instance.实例名出自实例组group所包含的那些名字。

（1） 实例状态state.只有MASTER和BACKUP两种状态，并且需要大写这些单词。其中MASTER为工作状态，BACKUP为备用状态。当 MASTER所在的服务器失效时，BACKUP所在的系统会自动把它的状态有BACKUP变换成MASTER；当失效的MASTER所在的系统恢复 时，BACKUP从MASTER恢复到BACKUP状态。

（2） 通信接口interface。对外提供服务的网络接口，如eth0,eth1.当前主流的服务器都有2个或2个以上的接口，在选择服务接口时，一定要核实清楚。

（3） lvs_sync_daemon_inteface。负载均衡器之间的监控接口，类似于HA HeartBeat的心跳线。但它的机制优于Heartbeat，因为它没有“裂脑”这个问题，它是以优先级这个机制来规避这个麻烦的。在DR模式 中，lvs_sync_daemon_inteface 与服务接口interface 使用同一个网络接口。

（4） 虚拟路由标识virtual_router_id.这个标识是一个数字，并且同一个vrrp实例使用唯一的标识。即同一个vrrp_stance,MASTER和BACKUP的virtual_router_id是一致的，同时在整个vrrp内是唯一的。

（5） 优先级priority.这是一个数字，数值愈大，优先级越高。在同一个vrrp_instance里，MASTER 的优先级高于BACKUP。若MASTER的priority值为150，那么BACKUP的priority只能是140或更小的数值。

（6） 同步通知间隔 advert_int .MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位为秒。

（7） 验证authentication。包含验证类型和验证密码。类型主要有PASS、AH两种，通常使用的类型为PASS，据说AH使用时有问题。验证密码为明文，同一vrrp实例MASTER与BACKUP 使用相同的密码才能正常通信。

4、 虚拟ip地址virtual_ipaddress . 可以有多个地址，每个地址占一行，不需要指定子网掩码。注意：这个ip必须与我们在lvs客户端设定的vip相一致！

● 虚拟服务器virtual_server定义块

虚拟服务器定义是keepalived框架最重要的项目了，是keepalived.conf必不可少的部分。

1、 虚拟服务器virtual_server. 这个ip来自于vrrp定义块的第“4”步，后面一个空格，然后加上端口号。定义一个vip，可以实现多个tcp端口的负载均衡功能。

（1） delay_loop。健康检查时间间隔，单位是秒。

（2） lb_algo. 负载均衡调度算法，互联网应用常使用wlc或rr。

（3） lb_kind. 负载均衡转发规则。一般包括DR,NAT,TUN3种，在我的方案中，都使用DR的方式。

（4） persistence_timeout.会话保持时间，单位是秒。这个选项对动态网站很有用处：当用户从远程用帐号进行登陆网站时，有了这个会话保持功 能，就能把用户的请求转发给同一个应用服务器。在这里，我们来做一个假设，假定现在有一个lvs 环境，使用DR转发模式，真实服务器有3个，负载均衡器不启用会话保持功能。当用户第一次访问的时候，他的访问请求被负载均衡器转给某个真实服务器，这样 他看到一个登陆页面，第一次访问完毕；接着他在登陆框填写用户名和密码，然后提交；这时候，问题就可能出现了—登陆不能成功。因为没有会话保持，负载均衡 器可能会把第2次的请求转发到其他的服务器。

（5） 转发协议protocol.一般有tcp和udp两种。实话说，我还没尝试过udp协议类的转发。

2、 真实服务器real_server.也即服务器池。Real_server的值包括ip地址和端口号。多个连续的真实ip，转发的端口相同，是不是可以以范围表示？需要进一步实验。如写成real_server 61.135.20.1-10 80 .

（1） 权重weight.权重值是一个数字，数值越大，权重越高。使用不同的权重值的目的在于为不同性能的机器分配不同的负载，性能较好的机器，负载分担大些；反之，性能差的机器，则分担较少的负载，这样就可以合理的利用不同性能的机器资源。

（2） Tcp检查 tcp_check.

关于配置文件的理论我们就先讲到这里。由于应用场景的不同，配置文件也会有很大的差异，在接下来的章节里，我将以两个具体的应用来展示keepalived神奇功效。

安装编译keeepalived时需要支持LVS时才可以做LVS调度：

例如出现下面情况，将不支持lvs！

Keepalived configuration
------------------------
Keepalived version       : 1.1.15
Compiler                 : gcc
Compiler flags           : -g -O2
Extra Lib                : -lpopt -lssl -lcrypto
Use IPVS Framework       : No
IPVS sync daemon support : No
Use VRRP Framework       : Yes
Use LinkWatch            : No
Use Debug flags          : No

解决办法，指定kernel目录：

/configure --with-kernel-dir=/usr/src/kernels/2.6.9-55.EL-i686 （rhel4.5_32平台）

./configure --with-kernel-dir=/usr/src/kernels/2.6.18-164.el5-i686/（rhel5.4_32平台）

 

正确情况：

Keepalived configuration
------------------------
Keepalived version       : 1.1.15
Compiler                 : gcc
Compiler flags           : -g -O2
Extra Lib                : -lpopt -lssl -lcrypto
Use IPVS Framework       : Yes
IPVS sync daemon support : Yes
Use VRRP Framework       : Yes
Use LinkWatch            : No
Use Debug flags          : No

然后在make，make install

文件:	lvs_keeplived配置文件.rar
大小:	2KB
下载:	下载