基于Linux的集群环境构建过程 -2

 

ChinaITLab收集整理

　　3．构建过程

　　在构建过程这一小节中，首先介绍IP伪装技术的原理，然后介绍集群系统的建立过程。本集群系统的建立首先要建立IP伪装机制，然后再增加IP Portforwarding(IP端口转发)机制，然后设计一个应用程序，它能够根据集群中的机器的状态实现实时动态负载平衡。本集群系统中的负载平衡器上的Linux内核版本为2.2.x。

　　3.1 IP伪装技术

　　本集群系统主要采用了IP Masquerade（IP伪装）机制。该负载平衡系统采用了NAT(network address translation)机制。NAT机制主要用于内部私有网与外部网之间进行通讯。IP地址中的那些私有地址如10.0.0.0/255.0.0.0， 172.16.0.0/255.240.0.0 以及192.168.0.0/255.255.0.0等是无法直接与Internet上的机器通讯的，如果它们想与Internet上的机器通讯，需要采用网络地址翻译(Network Address Translation，NAT)机制。

　　NAT意味着将IP地址从一组映射到另外一组，如果这种映射关系是N-N的，则称之为静态网络地址翻译；如果映射是M-N(M>N)的，则叫做动态网络地址翻译；IP伪装机制实际上就是一种M-1的动态网络地址翻译，它能够将多个内部网中的IP地址映射到一个与Internet相连接的外部网IP地址上，这样这些无法直接与Internet上的机器通讯的具有内部网IP地址的机器就可以通过这台映射机器与外界进行通讯了。而网络地址端口翻译是对网络地址翻译的一种扩展，它将许多网络地址以及它们的TCP/UDP端口翻译为一个IP地址和TCP/UDP端口。本集群系统采用的就是网络地址端口翻译机制。

　　3.2 IP伪装机制的建立过程

　　（1） 编译核心使之能够支持IP伪装:。

　　（2）重新编译了核心以后，应该通过以下命令重新编译并安装IP伪装模块：

　　make modules; make modules_install

　　3.3 IP端口转发机制的建立过程

　　现在需要增加适当的转发机制，从而将数据报文转发到合适的机器上去。首先要注意的是IPFWADM已经不再是2.1.x 和2.2.x核心中控制IP伪装规则的工具，这些核心现在使用的工具是IPCHAINS。

　　（1）首先根据以下的规则创建/etc/rc.d/rc.firewall文件。

/sbin/depmod -a
/sbin/modprobe ip_masq_ftp
/sbin/modprobe ip_masq_portfw.o
echo "1" > /proc/sys/net/ipv4/ip_forward
echo "1" > /proc/sys/net/ipv4/ip_always_defrag
/sbin/ipchains -M -S 7200 10 160
/sbin/ipchains -P forward DENY
/sbin/ipchains -A forward -s 10.1.1.0/24 -j MASQ
/usr/sbin/ipmasqadm portfw -f

#port forwarding strategy
#port forward the packet of interface 192.9.200.56 to 10.1.1.2 (server2)
#telnet service:port 23
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 23 -R 10.1.1.2 23 -p 1
#ftp service:port 21
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 21 -R 10.1.1.2 21 -p 1
#www service:port 80
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 80 -R 10.1.1.2 80 -p 1

#port forward the packet of interface 192.9.200.56 to 10.1.1.3 (server3)
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 23 -R 10.1.1.3 23 -p 1
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 21 -R 10.1.1.3 21 -p 1
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 80 -R 10.1.1.3 80 -p 1

#port forward the packet of interface 192.9.200.56 to 10.1.1.4 (server4)
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 23 -R 10.1.1.4 23 -p 1
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 21 -R 10.1.1.4 21 -p 1
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 80 -R 10.1.1.4 80 -p 1

　　（2）在编辑完/etc/rc.d/rc.firewall文件后，运行 chmod 700 /etc/rc.d/rc.firewall命令使该文件变为可执行的。

　　（3）在 /etc/rc.d/rc.local文件中增加一行来在每次重启以后激活IP伪装模块。

#rc.firewall script - Start IPMASQ and the firewall
 /etc/rc.d/rc.firewall.

　　在依次完成了3.2和3.3小节的操作以后，实际上已经建立起了一个基于Round-Robin调度算法的集群系统，如果用户想根据计算机性能的不同为之赋相应的权重，只需修改rc.firewall中的规则即可。例如，如果要把server2(10.1.1.2)的权重改为2，只须将原来的规则：

/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 23 -R 10.1.1.2 23 -p 1
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 21 -R 10.1.1.2 21 -p 1
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 80 -R 10.1.1.2 80 -p 1
改为：
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 23 -R 10.1.1.2 23 -p 2
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 21 -R 10.1.1.2 21 -p 2
/usr/sbin/ipmasqadm portfw -a -P tcp -L 192.9.200.56 80 -R 10.1.1.2 80 -p 2

　　这样就可以了。

　　3.4 建立实现动态负载平衡的应用程序

　　该应用程序监视集群中的各个实际服务器的负载情况，并将用户的请求转发到负载最轻的实际服务器上。具体的实现请参考文章后半部分有关调度模块的实现方法

　　
　　本集群系统实现了IP级的负载平衡。当客户向平衡器发送一个请求报文时，在平衡器的IP层对此请求报文的目标地址进行了替换工作，将目标地址替换为内部网中的实际服务器中的负载最轻的机器的IP地址。然后将此报文再次转发出去。当内部网中的实际服务器将请求处理完了以后，它将请求回应发向平衡器，平衡器再次在IP层将目标地址替换为发出请求的外部网中的客户的IP地址，然后将此报文再次转发到客户。

　　对目标地址进行替换的工作是在操作系统的核心中实现的，而选取负载最轻的机器的IP地址是在应用层实现的。之所以这样做是因为在应用层取负载数据可以提高系统的可扩展性，当需要向内部网中增加一台新的实际服务器时，只需要在应用程序的数组变量中增加一项就可以了；而且在应用层可以灵活地决定调度策略，可以采用静态的调度策略如Round Robin、Weighted Round Robin等，也可以采用动态的调度策略如Least Connection 、Weighted Least Connection等。对IP报文进行目标地址改写的工作主要在核心完成，这是因为这样速度很快，省掉了从用户到核心的通讯过程。

　　当外部网中的客户向负载平衡器发出一个服务请求(如www、ftp、telnet等) 时，从这个请求中可以获得外部网机器的IP地址和端口号（laddr ，lport），以及平衡器的IP地址，根据这些信息查询IP端口转发双向链表看是否有匹配（laddr， lport）的表项存在，如果存在的话，就取出该表项中的(raddr， rport)的值，即内部网中机器的IP地址和端口号，并且替换IP包的目标地址和端口号为（raddr， rport），再将此IP包重新发送到内部网中的对应机器上去。如果没有对应表项，则创建新的IP端口转发表项，以及对应的IP伪装表项。再进行目标地址替换和包重发的工作。

　　
　　本负载平衡系统主要分为IP伪装模块、IP端口转发模块和调度模块，其中IP伪装模块和IP端口转发模块都是在IP层实现的，在Linux源代码所在目录下都可以找到它们对应的程序。而调度模块是在应用层实现的。

模块名	标识符	说明
ip伪装模块	ip_masq	对ip报头进行改写，对ip报文进行转发。
ip端口转发模块	ip_portfw	接收外界的请求，根据调度算法决定将ip报文转发到哪一台实际服务器上。
调度模块	sched	根据负载信息收集模块确定的负载最轻的机器的地址将用户请求转发到负载最轻的机器上。