一个公网地址部署LVS/DR模式

一个公网地址部署LVS/DR模式

 

网上看了很多关于LVS的文章，在选取2种模式LVS/DR和LVS/NAT，看到很多人的观点都认为DR模型中必须要使用多个公网地址，既DIP,VIP,RIP必须在同一网段内

 

刚开始我的想法也是如此，所知道的唯一的解决方案就是在LVS集群之前再加一台路由器，用路由器做静态NAT转换，后端的LVS集群则使用DR模式。不过这样一来就比较耗成本，要有一台路由器专门负责NAT的转换工作，而且压力都转交给了前端的路由器，而且在性能，速度上相对于单纯的DR模式并没有提升。    

 

DR模式的性能是绝对要比NAT要强很多的，一般NAT模式下，realserver不能超过10台，而DR模式中，上百台realserver也是木有问题的

 

这两天也就一直纠结于能不能使用单纯的DR模式，并使用一个公网地址来实现（既VIP为公网地址，RIP和DIP使用私网内部的地址）。参考了一些文档

 

其实章文嵩博士已经在官网上明确表示过配置DR模式，完全可以让VIP和DIP,RIP在不同网段的。参考

 

而在此站点中也有关于DR模式使用不同网段的介绍 详见

 

在此，我在章文嵩博士的肯定回答下参考了上面的介绍，总结了一下在真实场景中常见网络架构中的场景    

 

这种拓扑是比较常见类型，先分析下LVS的工作时数据包的是如何流转的

 

1.客户发送源IP为1.1.1.1，目标IP为200.0.0.10的服务请求

2.数据包经过中间的层层路由，翻山越岭到Director

3.Director查询ipvsadm中定义的表项，根据算法选取一个realserver

在这里，由于是DR模型，所以Director只改变了数据2层部分的目标mac地址，转发给私网IP的realserver

4.Realserver收到数据包后，经过处理，封包转发给客户端
 

关键的一步来了，realserver怎么将数据包回复给客户端？

首先，在realserver上定义一条特殊路由，目标为VIP的数据包都从loopback口发出去，于是源地址还是为VIP，数据包的源和目的地址都没有变化。但是由于限制了arp的广播和应答方式，外界并不知道realserver上有VIP的存在，realserver也不知道VIP这个网段中的其它主机，所以数据包就卡在realserver这里了。解决方法就是，在realserver上添加一条默认路由，不知道的包都发往上私网地址的网关，于是路由器接收到数据包后就直接路由转发给客户了,在这个拓扑图中，路由器链接交换机的接口要有2个地址，一个是私网的网关地址，一个是公网的网关地址

实现了单个公网IP地址的LVS/DR模式

说了一大堆可能看的也晕乎，再来一幅常见的拓扑图

 

在这幅图中，director直接从ISP拉一条专线（至于ISP和Director之间防火墙之类的东西暂做屏蔽）

数据包是这样流转的

客户-->互联网-- > Director-- > Realserver-- > Gateway-- > 客户

     

拓扑是千变万化的，具体按照实际场景来实施

 

接下来是具体的实现方法，以下实验由虚拟机完成，先给个拓扑

这里192网段模拟公网，10网段模拟私网

 

 

先介绍下实验环境：客户机是我的主机，Director和2台realserver都是虚拟机，他们之间用虚拟交换机VMnet8相连，其中客户既充当客户又充当网关，所以在VMnet8网卡上也配置了2个地址（为了避免混淆，实验最后会通过抓包来验证）

 

director

首先配置地址

[root@localhost ~]# ifconfig eth0 10.0.0.10 netmask 255.255.255.0

[root@localhost ~]# ifconfig eth0:1 192.168.92.100 netmask 255.255.255.0 up

然后配置集群服务

[root@localhost ~]# ipvsadm -A -t 192.168.92.100:80 -s rr #创建一个http的集群服务，使用轮询的算法

[root@localhost ~]# ipvsadm -a -t 192.168.92.100:80 -r 10.0.0.1 –g #添加一个realserver，并使用DR模式。可以看到：提供服务的VIP和realserver的RIP并不在一个网段中

[root@localhost ~]# ipvsadm -a -t 192.168.92.100:80 -r 10.0.0.2 –g #同样方法再添加一个realserver

至此director配置完成

查看下IP地址的配置

   

 

查看下ipvsadm的配置

 

看到这里是route模式，并在不同网段中

realserver

首先上来先限制arp的广播和应答

[root@ww1 ~]# echo 2  >  /proc/sys/net/ipv4/conf/all/arp_announce

[root@ww1 ~]# echo 2  >  /proc/sys/net/ipv4/conf/lo/arp_announce

[root@ww1 ~]# echo 1  >  /proc/sys/net/ipv4/conf/all/arp_ignore

[root@ww1 ~]# echo 1  >  /proc/sys/net/ipv4/conf/lo/arp_ignore

然后配置地址

[root@ww1 ~]# ifconfig eth0 10.0.0.1 netmask 255.255.255.0

[root@ww1 ~]# ifconfig lo:1 192.168.92.100 netmask 255.255.255.255 broadcast 192.168.92.100 #配置VIP必须不让realserver对外广播
 

接着配置路由

[root@ww1 ~]# route add -host 192.168.92.100 dev lo:1 #请求是VIP的包，以lo:1接口出去，于是源地址还是为VIP，不会导致因为从eth0出去将源地址变为RIP

[root@ww1 ~]# route add default gw 10.0.0.3  #添加默认路由，指向私网的网关，在此实验中是我的客户机

然后启动web服务

[root@ww1 ~]# echo "web1"  >  /var/www/html/index.html #创建网页文件，web1做标示。在realserver2中以web2做标示    

[root@ww1 ~]# service httpd start #启动http服务

至此realserver1配置完成，realserver2也同样按照此配置，地址改下，网页文件不同就行

 

查看下IP地址的配置

 

这里再提供下第二台realserver的网卡信息，后面验证数据传送查看mac地址时要用到

 

查看下路由表

 

OK 配置都已经完成，在客户机上打开验证（浏览过程中用抓包工具抓取VMnet8网卡的数据）

多次刷新，发现每次返回的内容是不一样的

 

再到director上看下连接数，发现连接进来了

 

 

然后抓包看看

首先看下本地主机VMnet8的mac地址

 

 

这个包是本地主机发往director的包，具体每台和主机的mac地址可以看前文中查看IP地址的显示结果    

 

这个包是director发到realserver上的，源IP和目的IP都没变，director只改变了目的mac地址

 

这个包是realserver传给本地客户的包（查看源和目标mac地址可以验证），源地址还是为VIP，目的地址为本机客户。

通过抓包验证了数据的流向。

 

一个公网IP实现LVS/DR是可行的，数据包最终到达客户时，在内部网络中走的是私网的网关，相当于在公司内部饶了一个圈而已，而相比较NAT模式而言，DR模式的效率是NAT所不能比较的，在实际部署LVS中，也应该尽量使用DR模式。

 

 

作者 lustlost