使用LVS（Linux Virtual Server）在Linux上搭建负载均衡的集群服务

一、基于于NAT的LVS的安装与配置。
1. 硬件需求和网络拓扑
                        ________
                       |        |
                       | 客户端 | (互连网)
                       |________|
                           |
                        (router)
                        202.99.59.1(director GW)
                           |
                           |
                       (202.99.59.110)Virtual IP
                       ____|_____
                      |          | (控制器有两块网卡)
                      | director |
                      |__________|
                    (192.168.10.254)DIP
                           |
          -----------------+----------------
          |                |               |
         RIP1             RIP2            RIPx
    ____________     ____________     ____________
   |192.168.10.1|   |192.168.10.2|   |192.168.10.x|
   |realserver1 |   |realserver2 |   |realserverx |
   |____________|   |____________|   |____________|
 
 

2.下载软件：

(1)、内核源代码：需要下载2.4.23以后版本的内核源代码。下载地址为。本文中下载的内核源代为：linux-2.4.30.tar.bz2。

(2)、用户配置工具ipvsadm，下载地址：。本文下载的是：

3.安装软件：

在director(控制器，202.99.59.110)上安装支持LVS的内核和配置工具ipvsadm。

(1)、在内核配置时以下选项必须选：

Networking options  --->
	<*> Packet socket 
	<*> Netlink device emulation 
	[*] TCP/IP networking
	[*]   IP: advanced router
	[*] Network packet filtering (replaces ipchains)
	IP: Netfilter Configuration  --->
		<*> Connection tracking (required for masq/NAT)
		<*> IP tables support (required for filtering/masq/NAT)
		<*>   Full NAT
		<*>     MASQUERADE target support
	IP: Virtual Server Configuration  --->
		<*> virtual server support (EXPERIMENTAL) 
		(12)   IPVS connection table size (the Nth power of 2)
		--- IPVS scheduler
		   round-robin scheduling
		   weighted round-robin scheduling 
		   least-connection scheduling
		   weighted least-connection scheduling
		   locality-based least-connection scheduling
		   locality-based least-connection with replication scheduling
		   destination hashing scheduling
		   shortest expected delay scheduling 
		   never queue scheduling

(2)、编译和安装内核

分别执行: make bzImage;make modules;make modules_install；然后编辑启动配置文件，重新启动系统，在启动时选择新的内核。

系统启动后要确认内核是否支持ipvs，只需要执行下面的命令即可：grep ip_vs_init /boot/System.map

(3)、编译和安装ipvsadm
ln -s /usr/src/linux-2.4.30 /usr/src/linux tar -zxvf ipvsadm-1.21-11.tar.gz
cd ipvsadm-1.21-11
make all
make install

然后运行：ipvsadm --version命令，应该有下面的内容输出：
ipvsadm v1.21 2004/02/23 (compiled with popt and IPVS v1.0.12)

4. 配置LVS

(1)、在202.99.59.110上：
echo "1" >/proc/sys/net/ipv4/ip_forward
echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects
echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects

清除ipvsadm表：
/sbin/ipvsadm -C

使用ipvsadm安装LVS服务
#add http to VIP with rr sheduling
/sbin/ipvsadm -A -t 202.99.59.110:80 -s rr

增加第一台realserver：
#forward http to realserver 192.168.10.1 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 202.99.59.110:80 -r 192.168.10.1:80 -m -w 1

增加第二台realserver：
#forward http to realserver 192.168.10.2 using LVS-NAT (-m), with weight=1
/sbin/ipvsadm -a -t 202.99.59.110:80 -r 192.168.10.2:80 -m -w 1

(2)、realserver配置
在192.168.10.1(realserver1)和192.168.10.2(realserver2)上分别将其网关设置为192.168.10.254，并分别启动apache服务。

在客户端使用浏览器多次访问：，然后再202.99.59.110上运行ipvsadm命令，应该有类似下面的输出：

IP Virtual Server version 1.0.12 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  202.99.59.110:http rr
  -> 192.168.10.1:http           Masq    1      0          33        
  -> 192.168.10.2:http           Masq    1      0          33        

从上面的结果可以看出，我们的LVS服务器已经成功运行。

 

 

二、基于直接路由(DR)的LVS的配置

1.硬件需求和网络拓扑：
                        ________
                       |        |
                       | 客户端 | (互连网)
                       |________|
                           |
                        (router)
                        202.99.59.1(director GW)
                           |
             __________    |
            |          |   |   (VIP=202.99.59.110, eth0:110)
            | director |---|  (控制器有一块网卡，且与realserver1和realserver2在同一网段)
            |__________|   |   DIP=202.99.59.109 (eth0)
                           |
          -----------------------------------
          |                                 |
 RIP=202.99.59.108(eth0)             RIP=202.99.59.107(eth0)
(VIP=202.99.59.110, lo:0)          (VIP=202.99.59.110, lo:0)
    ____________                       ____________
   |            |                     |            |
   |realserver1 |                     |realserver2 |
   |____________|                     |____________|
   

2.安装软件：

在director(202.99.59.109)上安装上面的方法安装内核和管理软件。

3. 配置LVS

(1)、在202.99.59.109上：

修改内核运行参数，即修改/etc/sysctl.conf文件的内容如下：
net.ipv4.ip_forward = 0 
net.ipv4.conf.all.send_redirects = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.eth0.send_redirects = 1

然后执行下面的命令是对内核修改的参数立即生效：
sysctl -p

配置VIP地址：
/sbin/ifconfig eth0:0 202.99.59.110 broadcast 202.99.59.110 netmask 255.255.255.255 up
/sbin/route add -host 202.99.59.110 dev eth0:0

清除ipvsadm表:
/sbin/ipvsadm -C

使用ipvsadm安装LVS服务：
/sbin/ipvsadm -A -t 192.168.1.110:http -s rr

增加realserver：
#forward http to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1

(2)在realserver1(202.99.59.108)和realserver2(202.99.59.107)上做下面的设置。

修改内核运行参数，即修改/etc/sysctl.conf文件的内容如下：
net.ipv4.ip_forward = 0
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

然后执行下面的命令是对内核修改的参数立即生效：
sysctl -p

配置VIP地址：
/sbin/ifconfig lo:0 202.99.59.110 broadcast 202.99.59.110 netmask 255.255.255.255 up
/sbin/route add -host 202.99.59.110 dev lo:0

p>在客户端使用浏览器多次访问：，然后再202.99.59.110上运行ipvsadm命令，应该有类似下面的输出：

IP Virtual Server version 1.0.12 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.100.254:http rr
  -> 192.168.100.3:http           Route   1      0          28        
  -> 192.168.100.2:http           Route   1      0          29               

从上面的结果可以看出，我们的LVS服务器已经成功运行。

 

 

在面的实例中ipvsadm用到的几个参数含义如下：

-A 增加一个虚拟服务，该服务由协议、IP地址和端口号组成，例如：
-A -t 202.99.59.110:80 (增加一格虚拟服务，其协议(-t表示tcp，-u表示udp)为TCP、IP为202.99.59.110、端口号为80。

-s 指定服务采用的算法，常用的算法参数如下：

• rr   轮叫（Round Robin）
  调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。

• wrr   加权轮叫（Weighted Round Robin）
  调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

• lc   最少链接（Least Connections）
  调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。

• wlc   加权最少链接（Weighted Least Connections）
  在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

• lblc   基于局部性的最少链接（Locality-Based Least Connections）
  "基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。

• lblcr   带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
  "带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

• dh   目标地址散列（Destination Hashing）
  "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

• sh   源地址散列（Source Hashing）
  "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1

-a 表示往一个服务内增加一个real server

-r 指定real server的IP地址

-w 表示权重

-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。

 

实用性的负载均衡集群：LVS/NAT

环境：三台机器，centos4.3系统,ipvsadm软件
IP分配：
LB
eth0 192.168.0.198
eth0:1 192.168.1.6
eth0:2 192.168.0.196

RS1 eth0 192.168.1.2
RS1 eth0 192.168.1.3
注意：真实服务器配置内网IP地址，这里是指192.168.1.0/24网段。外网段用192.168.0.0/24代替测试。

LB机器上配置：
1）在/etc/sysconfig/network-scripts/里设置好IP。
#more ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.198
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
#more ifcfg-eth0:1
DEVICE=eth0:1
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.6
NETMASK=255.255.255.0
#more ifcfg-eth0:2
DEVICE=eth0:2
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.196
NETMASK=255.255.255.0

RS1:
#more ifcfg-eth1
DEVICE=eth1
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.6

RS2:
#more ifcfg-eth1
DEVICE=eth1
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.3
NETMASK=255.255.255.0
GATEWAY=192.168.1.6
2）安装ipvsadm-1.24-6.i386.rpm并在rc.local里添加下面语句以保证其启动。
service ipvsadm restart
3)在/etc/rc.d/rc.local里添加下面内容：
echo 1 > /proc/sys/net/ipv4/ip_forward
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
4）设置ipvsadm
#ipvsadm -C
#ipvsadm -A -t 192.168.0.196:http -s wlc
#ipvsadm -a -t 192.168.0.196:http -r 192.168.1.2:http -m -w 1
#ipvsadm -a -t 192.168.0.196:http -r 192.168.1.3:http -m -w 1
#/etc/init.d/ipvsadm save

真实节点RS1和RS2上的配置:
route add default gw 192.168.1.6
echo 0 > /proc/sys/net/ipv4/ip_forward
然后在RS1和RS2上启动httpd，提供web服务，页面要不同，以便测试。

在其他机器上访问192.168.0.196，不断刷新测试。
关闭一个RS，在其他机器上访问192.168.0.196，不断刷新测试。

最后是增强IPTABLES安全设置。