在Linux下构造高性能、高可用、高可伸缩性的服务集群

Linux下构造高性能高可用高可伸缩性的服务集群

LVS+Heartbeat+Ldirectord在Red Hat9.0下的实现

随着Internet技术的迅猛发展，网络技术、性能的不断提高，高可伸缩性、高可用性、可管理性、价格有效性的网络服务技术将成为网络服务技术的主导。各种平台下的技术方案应运而生。本文试图以一篇完整的理论+实践性的文字来介绍如何在优秀的开源操作系统Linux下创建低成本、高性能、高可用的服务集群系统。文中所使用的系统和软件包均为最新版本。希望通过对本文的阅读能使你对如何创建Linux下的集群系统有所帮助。

1.Linux下的解决方案

Linux下的集群系统通常可以分为三类：
HA容错集群 (Fail-over Cluster)
高可用性集群（High available）用于不可间断服务的环境下。提供冗余的容错备份，在主节点失效后，能够立即接管相关资源及继续提供相应服务。
负载均衡集群 (Load Balancing Cluster)
在应用服务的高负载情况下运用该技术，由多台节点提供高可伸缩的，高负载的服务器组。以保证对外提供良好的服务响应。
HPC高性能计算机集群 (High Performance Computing)
概念并不完全统一，有一定争论，应该理解为并行系统，主要用于科学计算。

本文所要介绍的是前两类集群的一个完美的组合。

1.1. Linux Virtual Server项目

在1998年5月，由章文嵩博士成立了Linux Virtual Server的自由软件项目，进行Linux服务器集群的开发工作。同时，Linux Virtual Server项目也是国内最早出现的自由软件项目之一。该项目针对高可伸缩、高可用网络服务的需求，给出了基于IP层和基于内容请求分发的负载平衡调度解决方法，它通过前端一个负载调度器（Load Balancer）无缝地将网络请求调度到真实服务器上，从而使得服务器集群的结构对客户是透明的，客户访问集群系统提供的网络服务就像访问一台高性能、高可用的服务器一样。客户程序不受服务器集群的影响不需作任何修改。系统的伸缩性通过在服务机群中透明地加入和删除一个节点来达到，通过检测节点或服务进程故障和正确地重置系统达到高可用性。并在Linux内核中实现了这些方法，将一组服务器构成一个实现可伸缩的、高可用网络服务的虚拟服务器。

虚拟服务器的体系结构如图2所示。

图2：虚拟服务器的结构

1.1.1. LVS的核心软件IPVS

在调度器的实现技术中，IP负载均衡技术是效率最高的。在已有的IP负载均衡技术中有通过网络地址转换（Network Address Translation）VS/NAT技术的基础上，IPVS软件实现了三种IP负载均衡技术：

1)Virtual Server via Network Address Translation（VS/NAT） 网络地址转换 (如图1)
2)Virtual Server via IP Tunneling（VS/TUN） 隧道技术 (如图2)
3)Virtual Server via Direct Routing（VS/DR） 直接路由 (如图3)

针对不同的网络服务需求和服务器配置，IPVS调度器实现了如下十种负载调度算法：
轮叫（Round Robin）
加权轮叫（Weighted Round Robin）
最少链接（Least Connections）
加权最少链接（Weighted Least Connections）
基于局部性的最少链接（Locality-Based Least Connections）
带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
目标地址散列（Destination Hashing ）
源地址散列（Source Hashing）
最短期望延迟(Shortest Expected Delay)（新增加调度算法）
无须队列等待（Never Queue）（新增加调度算法）

其中9－10是最新1.09版IPVS软件包中新增的调度算法，这十种调度算法将会在后面的ipvsadm配置文件中用到，通常用英文单词的第一个字母的缩写来表示。例如：轮叫（Round Robin）表示为rr。

三种IP负载均衡技术的优缺点比较 VS/NAT VS/TUN VS/DR
服务器(OS) 任意 支持隧道 多数(支持Non-arp )
服务器网络 私有网络 局域网/广域网 局域网
服务器数目(100M网络) 10~20 100 多(100)
服务器网关 负载均衡器 自己的路由 自己的路由
效率 一般 高 最高


三种IP负载均衡技术中特别是后两种技术VS/TUN，VS/DR极大地提高系统的伸缩性，它们的相关技术原理不是本文讨论的重点，若需了解详细内容，请参看章文嵩博士的相关撰文。




图1







1.2. High Availability of LVS

较为成熟的方案有mon+heartbeat+fake+coda 和ldirectord+heartbeat 方案，本文我们采用的是ldirectord+heartbeat 方案。

1.2.1. Heartbeat

Linux-HA 项目开始于 1998 年，是 Linux-HA HOWTO（Haranld Milz 著）的产物。该项目目前由 Alan Robertson 领导，许多其他代码提供者也参与其中。1.0.3版本是2003年6月发布的最新稳定版本。

Heartbeat 通过通信介质（通常是串行设备和以太网）监控节点的"健康"状况。最好有多个冗余介质，以便我们既可以使用串行线又可以使用以太网链接。每个节点运行一个守护程序进程（称为"心跳"）。主守护程序派生出读和写每个心跳介质的子进程，以及状态进程。当检测到某个节点发生故障时，Heartbeat 运行 shell 脚本来启动（或停止）辅助节点上的服务。按照设计，这些脚本使用与系统 init 脚本（通常位于 /etc/init.d 中）相同的语法。缺省脚本是为文件系统、Web 服务器和虚拟 IP 故障转移提供的。

1.2.2. Ldirectord

"ldirectord"(Linux Director Daemon)是Jacob Rief编程实现的一个独立进程，以实现对服务和物理服务器的监测，广泛地用于http和https等服务, Ldirectord与mon相比，优点如下：
ldirectord是专门为LVS 监控而编写的。
ldirectored可以方便地被heartbeat管理启动和停止。
它能从heartbeat的配置文件/etc/ha.d/xxx.cf中读取所有有关IPVS路由表配置的信息。当 ldirectord 运行后,IPVS路由表将被适当地配置。你也可以将不同的虚拟服务器配置保存在不同的配置文件里, 所以你可以单独修改某种服务的参数而不用停止其它的服务
另外，ldirectord安装简便，可以手工地启动和停止。你可以在没有备份负载均衡器的LVS集群上使用。

1.2.3. ldirectord+heartbeat的绝妙组合

ldirectord+heartbeat方案前端负载调度器采用双机热备份方式，双机均安装双网卡，一个网卡用于连接集群系统，另一个作为冗余心跳线路连接双机。采用串口线 ＋ 以太网口做为冗余心跳线路，以确保双机热备份的可靠性，消除由于主负载调度器或心跳线故障带来的集群单点故障。

在主负载调度器及备份负载调度器同时安装ldirectord及heartbeat，并同时运行Heartbeat，相互监视"健康"状况，一旦备份负载调度器监测到主负载调度器发生故障，备份服务器通过运行shell脚本来启动备份调度器上服务来完成虚拟 IP 故障转移，通过ipvsadm启动LVS及ldirectord，完成负载调度器的整体接管。一旦主负载调度器恢复正常工作，备份负载将通过脚本停掉备份负载调度器上的LVS及ldirectord，同时完成虚拟 IP 故障转移，主负载调度器重新恢复接管LVS及ldirectord监控服务。这样负载调度器就完成了一个标准的接管及恢复过程。

该方案结构清晰明了，安装简便，并且ldirectord是专门为LVS所开发，针对性强，无缝衔接，配合默契，堪称绝妙组合。

2. LVS在Red Hat 9.0上的具体实现

2.1. 实现目标：

实现以常用、效率最高的LVS-DR IP负载技术为基础，以高可用性（HA）＋ 高性能 ＋ 高性能/价格比 ＋ 高可伸缩性为最终目的。负载均衡器采用HA技术构架，采用Heartbeat软件包，heartbeat采用串口、网络口冗余线路，保证24X7不间断运行。结构如图：

Setup LVS using LVS-DR forwarding ________
| |
| client |
|________|
CIP= SGW =192.168.7.254/24 (eth0)
|
|
eth1 __________ |
192.168.0.1 | director | |
--------| primiary |---| DIP=192.168.7.9/24 (eth0)
| |__________| |
| ttyS0| |
|heartbeat | |
|backup | | VIP=192.168.7.110/32 (eth0:0)*
| ttyS0| |
| _____|____ |
| | director | |
--------| backup |---| DIP=192.168.7.10/24 (eth0)
eth1 |__________| |
192.168.0.2 |
|
|
|
|
-----------------------------------
| |
| |
RIP=192.168.7.11/24 (eth0) RIP=192.168.7.12/24 (eth0)
VIP=192.168.7.110/32 (lo:0) VIP=192.168.7.110/32 (lo:0)
____________ ____________
| | | |
| realserver | ----------- | realserver |
|____________| |____________|



2.2. 设备要求：

因为负载均衡器和真实服务器节点均有软硬件冗余保障，所以硬件设备可以根据具体资金情况及提供服务规模而定。当然最好采用支持RAID，SCSI，内存ECC校验，热插拔等技术的专用服务器，以提供稳定高效的服务。对于非关键业务服务，也可以考虑采用最新支持IDE RAID(0,1,0＋1,1.5,5)的服务器，可以获得一个良好的性能/价格比。当然，如果你是一个对硬件技术细节非常熟悉，说话又有分量，对自己非常有信心，敢冒风险，崇尚节约、实用性的人，那么DIY一组高性价比的服务器集群，也是一件非常有意义而且充满乐趣的工作。

2.3.原始软件环境：

Red Hat 9.0 完全安装
Red Hat 9.0 （kernel-2.4.20-8 ） gcc -3.2.2-5

如果你使用的是Red Hat 8 ，那么你很幸运。Red Hat 8 (kernel-2.4.18-14)已经预先打了ipvs的补丁，在预安装的内核中已将ipvs编译成模块，可以通过检查 /lib/modules/2.4.18-14/kernel/net/ipv4/ipvs 是否存在来判断。可以直接安装ipvsadm。从Red Hat 9 (kernel-2.4.20-8),Red Hat 取消了ipvs的补丁及预编译ipvs为模块的内核，且Red Hat 9 自带的kernel-2.4.20-8的内核无法通过ipvs补丁linux-2.4.20-ipvs-1.0.9 .patch.gz的编译，至少在我的两台P4的机器上都没有通过编译。标准内核linux-2.4.20.tar.gz则可以通过编译。所以我们将采用上的标准内核kernel-2.4.20.tar.gz来构造我们的集群系统。

2.4.需下载软件包：

# Linux kernel
http:///pub/linux/kernel/v2.4/linux-2.4.20.tar.gz

# ipvs patch


# ipvs tar ball


# hidden patch（已经包括在ipvs-1.0.9.tar.gz，可不用下载）
~ja/hidden-2.4.20pre10-1.diff（解决arp 问题 for LVS-DR/LVS-Tun）

# ipvsadm (已包含在ipvs-1.0.9.tar.gz包中, 可不用下载)

# Ldirectord


# heartbeat






2.5. 安装要求：

2.5.1 Director:
内核打non-arp的补丁hidden-2.4.20pre10-1.diff （解决arp problem for LVS-DR/LVS-Tun，虽然在Directors上运行时并不需要，但硬件环境如果和Realserver类似，内核可以直接放到RealServer上运行，不用再为realServer重新编译内核，当然也可不打该补丁。）
内核打ipvs的补丁linux-2.4.20-ipvs-1.0.9.patch.gz，重新编译新内核。
运行新内核后编译安装ipvsadm。（LVS-NAT (network address translation); LVS-DR (direct routing) and LVS-Tun (tunneling). 真实服务器 realserver/service 的转发方式由ipvsadm来设置。）

2.5.2 RealServes: （在LVS-NAT方式下，不需要打任何补丁）

内核打arp的补丁hidden-2.4.20pre10-1.diff （arp problem for LVS-DR/LVS-Tun）编译新内核。
解决Non-arp problem
设置缺省网关（gw）
LVS-NAT: director（DIP）
LVS-DR, LVS-Tun: 对外路由 (不是director的IP).

如果你不知道你的内核源代码是否已经预打过ipvs的补丁, 可以询问你的Linux发行版的制造商或查看相关ipvs 文件，文件名类似于 /usr/src/linux-2.4/net/ipv4/ip_vs_*.c。

2.6. 安装步骤：

2.6.1 Director或RealServer上内核的安装: export D=/tmp/download
mkdir $D
cd $D
wget http:///pub/linux/kernel/v2.4/linux-2.4.20.tar.gz
wget .patch.gz
wget
tar zxvf linux-2.4.20.tar.gz
tar zxvf ipvs-1.0.9.tar.gz
gunzip linux-2.4.20-ipvs-1.0.9.patch.gz
mv linux-2.4.20 /usr/src/linux-2.4.20
cd /usr/src
rm -f linux-2.4
ln -s linux-2.4.20 linux-2.4
cd linux-2.4
patch -p1 < $D/ipvs-1.0.9/contrib/patches/hidden-2.4.20pre10-1.diff (arp for LVS-DR/LVS-Tun）
patch -p1 < $D/linux-2.4.20-ipvs-1.0.9.patch （仅在编译Director内核时打补丁）
make mrproper
cp /boot/config-2.4.20-8 .config （使用Red Hat 9自带的config内核配置文件或使用/usr/src/linux-2.4.7-10/configs下的配置文件）
make menuconfig（参照相关ipvs及内核配置）
或在图形界面运行： make xconfig



相关网络内核选项：



相关LVS内核选项：


make dep
make clean
make bzImage
make modules
make modules_install
cp arch/i386/boot/bzImage /boot/ vmlinuz-2.4.20-lvs (rs)
cp System.map /boot/System.map.2.4.20-lvs (rs)
cp vmlinux /boot/vmlinux-2.4.20-lvs (rs)
cd /boot
rm -f System map
ln -s System.map.2.4.20-lvs (rs) System.map
vi /boot/grub/grub.conf:
title 2.4.20-lvs
root (hd0,0)
kernel /boot/vmlinuz-2.4.20-lvs (rs) ro root=/dev/xxx



如果要安装该内核在其它机器上: tar czf linux-2.4.20-dir.tgz /usr/src/linux-2.4.20/
在其它机器上解压tar zxvf linux-2.4.20-dir.tgz 放置到/usr/src
rm -f linux-2.4
ln -s linux-2.4.20 linux-2.4
cd linux-2.4
make modules_install
cp arch/i386/boot/bzImage /boot/ vmlinuz-2.4.20-lvs (rs)
cp System.map /boot/System.map.2.4.20-lvs (rs)
cd /boot
rm -f System map
ln -s System.map.2.4.20-lvs (rs) System.map
vi /boot/grub/grub.conf:
title 2.4.20-lvs
root (hd0,0)
kernel /boot/vmlinuz-2.4.20-lvs (rs) ro root=/dev/xxx



2.6.2 Director上ipvsadm 的安装：

用打过ipvs和hidden（for LVS-DR/LVS-Tun）补丁的新内核启动linuxcd / tmp/download/ipvs-1.0.9/ipvs/ipvsadm
make install



检查ipvsadm 探测到内核的ipvs的补丁可以运行ipvsadm



如果成功你会看到类似于如下内容：director: /usr/src# ipvsadm
IP Virtual Server version 0.2.7 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn



说明安装成功

运行lsmod | grep ip_vs 可以看到ip_vs模块已经被插入内核运行。

2.6.3. 运行脚本( Run Scripts )

以下以最常用的LVS-DR模式来介绍相关的脚本设置

( 以Telnet服务, 轮叫(rr)策略为例 )

2.6.3.1 Director上: #!/bin/bash
#---------------mini-rc.lvs_dr-director------------------------
#set ip_forward OFF for vs-dr director (1 on, 0 off)
cat /proc/sys/net/ipv4/ip_forward
echo 0 >/proc/sys/net/ipv4/ip_forward
#director is not gw for realservers: leave icmp redirects on
echo 'setting icmp redirects (1 on, 0 off) '
echo 1 >/proc/sys/net/ipv4/conf/all/send_redirects
cat /proc/sys/net/ipv4/conf/all/send_redirects
echo 1 >/proc/sys/net/ipv4/conf/default/send_redirects
cat /proc/sys/net/ipv4/conf/default/send_redirects
echo 1 >/proc/sys/net/ipv4/conf/eth0/send_redirects
cat /proc/sys/net/ipv4/conf/eth0/send_redirects
#add ethernet device and routing for VIP 192.168.7.110
#if use backup director ,pay any attention about bellow
/sbin/ifconfig eth0:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 up
/sbin/route add -host 192.168.7.110 dev eth0:0
#listing ifconfig info for VIP 192.168.7.110
/sbin/ifconfig eth0:0
#check VIP 192.168.7.110 is reachable from self (director)
/bin/ping -c 1 192.168.7.110
#listing routing info for VIP 192.168.7.110
/bin/netstat -rn
#setup_ipvsadm_table
#clear ipvsadm table
/sbin/ipvsadm -C
#installing LVS services with ipvsadm
#add telnet to VIP with round robin scheduling
/sbin/ipvsadm -A -t 192.168.7.110:telnet -s rr
#forward telnet to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.7.110:telnet -r 192.168.7.11 -g -w 1
#check realserver reachable from director
ping -c 1 192.168.7.11
#forward telnet to realserver using direct routing with weight 1
/sbin/ipvsadm -a -t 192.168.7.110:telnet -r 192.168.7.12 -g -w 1
#check realserver reachable from director
ping -c 1 192.168.7.12
#displaying ipvsadm settings
/sbin/ipvsadm
#not installing a default gw for LVS_TYPE vs-dr
#---------------mini-rc.lvs_dr-director------------------------



该段运行脚本对于熟悉Linux网络配置的读者来说应该很容易理解。由于LVS是通过对标准内核打补丁，在内核级提供支持，所以在LVS-DR模式下，首先是进行内核的相关设置。要关闭标准内核下的ip_forward转发方式，即置为0。同时因为LVS-DR模式下，集群的网关是外部网关，而不是负载均衡器。所以要打开icmp包的重定向设置send_redirects 置为1。接着就是绑定集群的虚拟服务器的IP地址，并添加一条到该IP地址的主机路由。然后对该虚拟IP做一些必要的自我检测，同时列出路由表。最后是有关ipvasdm的设置，首先清空ipvasdm表，然后添加需要提供负载均衡的服务及调度策略，这里例举的是telnet服务，也可以直接使用端口号，调度策略为轮叫(rr)策略。最后添加转发到真实服务器的直接路由，如果有多台RealServer或需要提供多种服务的负载均衡，依次添加。再做一些到RealServer的网络测试（也可不要），最后显示ipvasdm所有的设置信息。

注意：

ipvs-1.0.9.tar.gz中包含的ipvsadm是1.21版，安装后在/etc/rc.d/init.d/目录下自动生成了标准的init服务脚本，如果你的Director没有安装备份服务器，你可以通过服务管理工具让它在相应的运行级里自动运行，如果Director是HA系统，则由heartbeat控制运行。

另外该服务脚本提供了配置保存功能。配置文件为：/etc/sysconfig/ipvsadm 你必须手工建立。然后在其中输入规则和策略：

例如：-A -t 192.168.7.110:telnet -s rr
-A -t 192.168.7.110:http -s rr
-a -t 192.168.7.110:telnet -r 192.168.7.11 -g -w 1
-a -t 192.168.7.110:http -r 192.168.7.11 -g -w 1



然后存盘。

或直接运行：/sbin/ipvsadm -A -t 192.168.7.110:telnet -s rr
/sbin/ipvsadm -A -t 192.168.7.110:http - rr
/sbin/ipvsadm -a -t 192.168.7.110:telnet -r 192.168.7.11 -g -w 1
/sbin/ipvsadm -a -t 192.168.7.110:http -r 192.168.7.11 -g -w 1



然后运行：/etc/rc.d/init.d/ipvsadm save

就可以保存当前配置到/etc/sysconfig/ipvsadm文件中。

在具有HA系统的Director上，ipvsadm可以方便地被Heartbeat管理－启动、停止。Director上的VIP（虚拟）服务器地址由Heartbeat负责设置和切换。

做法如下：

在Heartbeat的配置文件haresources中加类似入如下一行：

linuxha1 IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm ldirectord::www ldirectord::mail

2.6.3.2. RealServers上: #!/bin/bash
#----------mini-rc.lvs_dr-realserver------------------
#installing default gw 192.168.7.254 for vs-dr
/sbin/route add default gw 192.168.7.254
#showing routing table
/bin/netstat -rn
#checking if DEFAULT_GW 192.168.1.254 is reachable
ping -c 1 192.168.7.254
#set_realserver_ip_forwarding to OFF (1 on, 0 off).
echo 0 >/proc/sys/net/ipv4/ip_forward
cat /proc/sys/net/ipv4/ip_forward
#looking for DIP 192.168.7.9
ping -c 1 192.168.7.9
#looking for VIP (will be on director)
ping -c 1 192.168.7.110
#install_realserver_vip
/sbin/ifconfig lo:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 up
#ifconfig output
/sbin/ifconfig lo:0
#installing route for VIP 192.168.1.110 on device lo:0
/sbin/route add -host 192.168.7.110 dev lo:0
#listing routing info for VIP 192.168.7.110
/bin/netstat -rn
#hiding interface lo:110, will not arp
echo 1 >/proc/sys/net/ipv4/conf/all/hidden
cat /proc/sys/net/ipv4/conf/all/hidden
echo 1 >/proc/sys/net/ipv4/conf/lo/hidden
cat /proc/sys/net/ipv4/conf/lo/hidden
#----------mini-rc.lvs_dr-realserver------------------



该段脚本和上面的脚本比较类似，相信不用再多做介绍了。需要注意的是：LVS-DR模式下，缺省网关的设置。集群的网关是外部网关，而不是负载均衡器。还有就是RealServer上绑定的VIP地址的设备lo:0。另外不要忘了开启not arp补丁的设置开关。相信你已经很清楚了。

你也可以把以上脚本改写成符合init语法的标准脚本，放到/etc/rc.d/init.d/下面运行，或直接加到/etc/init.d/rc.local下运行。

改写为标准init语法脚本如下：#!/bin/bash
#
# hidden This shell script takes care of starting and stopping
# the ipvs-hidden subsystem (hiddend).
#
# chkconfig: 2345 78 12
# description: ipvs-hidden
# processname: hiddend
prog="hidden"
start(){
echo 0 >/proc/sys/net/ipv4/ip_forward
/sbin/ifconfig lo:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 up
# installing route for VIP 192.168.1.110 on device lo:0
/sbin/route add -host 192.168.7.110 dev lo:0
# listing routing info for VIP 192.168.7.110
/bin/netstat -rn
# hiding interface lo:0, will not arp
# echo 1 >/proc/sys/net/ipv4/conf/all/hidden
echo 1 >/proc/sys/net/ipv4/conf/lo/hidden
}
stop(){
echo 1 >/proc/sys/net/ipv4/ip_forward
/sbin/ifconfig lo:0 192.168.7.110 broadcast 192.168.7.110 netmask 255.255.255.255 down
/sbin/route del -host 192.168.7.110 dev lo:0
# echo 0 >/proc/sys/net/ipv4/conf/all/hidden
echo 0 >/proc/sys/net/ipv4/conf/lo/hidden
}
restart(){
stop
start
}
condrestart(){
[ -e /var/lock/subsys/hiddend ] && restart || :
}
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
*)
echo $"Usage: $0 {start|stop|restart}"
exit 1
esac
exit $?



然后： cp rc.lvs /etc/rc.d/init.d/hiddend
chmod 755 /etc/rc.d/init/d/hiddend
chkconfig - -add hiddend
2.6.4.Ldirectord 的安装：

一些文章介绍在ipvs-x.x.x.tar.gz中已包含了Ldirectord，估计该作者并没有进入到相关目录中去仔细查看，该目录中只有一个README文件，告诉你在哪里可以找到Ldirecrtord的代码。总之我在ipvs-1.0.9.tar.gz中是没有看到Ldirectord源代码。其实它的源代码是包含在heartbeat-1.0.3.tar.gz中的。所以请到这里下载相关代码：

源代码安装： cd heartbeat-1.0.3
./ConfigureMe configure
make
make install.



rpm安装： rpm -ivh --nodeps heartbeat-ldirectord-1.0.3-1.i386.rpm
可以通过命令：rpm -q heartbeat-ldirecrord -d 来检查安装的路径。



为了简化安装步骤，我安装的是Ldirectord for Red Hat 9的rpm包，RedHat和Debian版本的从这里下载：

注意：

/usr/share/doc/heartbeat-ldirectord-1.0.3/ldirectord.cf文件是Ldirectord的配置文件的范例。拷贝该文件到/etc/ha.d/目录下，修改其内容，并另存为xxx.cf（例如：，mail.cf），以便在Heartbeat的配置文件haresources中使用。

范例： （http服务） #
# Sample ldirectord configuration file to configure various virtual services.
#
# Ldirectord will connect to each real server once per second and request
# /index.html. If the data returned by the server does not contain the
# string "Test Message" then the test fails and the real server will be
# taken out of the available pool. The real server will be added back into
# the pool once the test succeeds. If all real servers are removed from the
# pool then localhost:80 is added to the pool as a fallback measure.
# Global Directives
checktimeout=3
checkinterval=1
fallback=127.0.0.1:80
autoreload=yes
#logfile="/var/log/ldirectord.log"
#logfile="local0"
quiescent=yes
# A sample virual with a fallback that will override the gobal setting
virtual=192.168.7.110:80
real=192.168.7.11:80 gate
real=192.168.7.12:80 gate
real=192.168.7.13:80 gate
fallback=127.0.0.1:80 gate
service=http
request="/.testpage"
receive="Test Page"
scheduler=rr
#persistent=600
#netmask=255.255.255.255
protocol=tcp



然后你必须在每台真实服务器节点的www的根目录上生成以Test Page为内容的.testpage文件。在每台真实服务器节点的www的根目录上执行命令：echo "Test Page" > .testpage

2.6.5. Heartbeat的安装

源代码安装： cd heartbeat-1.0.3
./ConfigureMe configure
make
make install.



rpm安装： rpm -ivh --nodeps heartbeat-1.0.3.i386.rpm



为了适应Red Hat 9，我安装的是heartbeat for Red Hat 9的rpm包heartbeat-1.0.3-1.rh.9.1.i386.rpmRedHat和Debian版本rpm的版本从这里下载：
在安装时可能会遇到依赖性的错误，可以用--nodeps参数进行安装。总之把它提示所需要的rpm包（在dependancies目录下）全部装上。在dependancies目录下其它一些其它rpm包，如果不用相关功能可以不装。

配置 Heartbeat

需要配置的有三个文件：ha.cf haresources(在每个节点必须相同) Authkeys，应该将它们放置在/etc/ha.d目录下。范例配置在/usr/shared/doc/heartbeat-1.0.3目录下，你可以修改后拷贝到/etc/ha.d目录下。

2.6.5.1. 配置ha.cf

这个配置文件告诉heartbeat 使用的是什么介质和如何配置它们。ha.cf 包含你将到的所有的选项，内容如下：

serial /dev/ttyS0

使用串口heartbeat - 如果你不使用串口heartbeat, 你必须选择其它的介质，比如以太网bcast (ethernet) heartbeat。如果你使用其它串口heartbeat，修改/dev/ttyS0 为其它的串口设备。

watchdog /dev/watchdog

可选项：watchdog功能提供了一种方法能让系统在出现故障无法提供"heartbeat"时，仍然具有最小的功能，能在出现故障1分钟后重启该机器。这个功能可以帮助服务器在确实停止心跳后能够重新恢复心跳。如果你想使用该特性，你必须在内核中装入"softdog" 内核模块用来生成实际的设备文件。想要达到这个目的, 首先输入 "insmod softdog" 加载模块。然后，输入"grep misc /proc/devices" 注意显示的数字 (should be 10).然后, 输入"cat /proc/misc | grep watchdog" 注意输出显示出的数字(should be 130)。现在你可以生成设备文件使用如下命令："mknod /dev/watchdog c 10 130" 。

bcast eth1

指定使用的广播heartbeat 的网络接口eth1(修改为eth0, eth2, 或你所使用的接口)

keepalive 2

设置心跳间隔时间为2两秒。

warntime 10

在日志中发出最后心跳"late heartbeat" 前的警告时间设定。

deadtime 30

在30秒后明确该节点的死亡。

initdead 120

在一些配置中，节点重启后需要花一些时间启动网络。这个时间与"deadtime"不同，要单独对待。 至少是标准死亡时间的两倍。

hopfudge 1

可选项： 用于环状拓扑结构,在集群中总共跳跃节点的数量。

baud 19200

串口波特率的设定(bps).

udpport 694

bcast和ucast通讯使用的端口号694 。这是缺省值，官方IANA 使用标准端口号。

nice_failback on

可选项：对那些熟悉Tru64 Unix, 心跳活动就像是"favored member"模式。主节点获取所有资源直到它宕机,同时备份节点启用。一旦主节点重新开始工作, 它将从备份节点重新获取所有资源。这个选项用来防止主节点失效后重新又获得集群资源。

node linuxha1.linux-ha.org

强制选项：通过`uname -n`命令显示出的集群中的机器名。

node linuxha2.linux-ha.org

强制选项：通过`uname -n`命令显示出的集群中的机器名。

respawnuseridcmd

可选项：列出可以被spawned 和监控的命令。例如：To spawn ccm 后台进程，可以增加如下内容：
respawn hacluster /usr/lib/heartbeat/ccm
通知heartbeat 重新以可信任userid身份运行(在我们的例子中是hacluster) 同时监视该进程的"健康"状况，如果进程死掉，重启它。例如ipfail, 内容如下：
respawn hacluster /usr/lib/heartbeat/ipfail
NOTE: 如果进程以退出代码100死掉, 这个进程将不会respawned。

pingping1.linux-ha.orgping2.linux-ha.org ....

可选项：指定ping 的节点。 这些节点不是集群中的节点。它们用来检测网络的连接性，以便运行一些像ipfail的模块。

2.6.5.2. 配置 haresources

一旦你配置好了ha.cf文件，下面就需要设置haresources文件，这个文件指定集群所提供的服务以及谁是缺省的主节点。注意，该配置文件在所有节点应该是相同的。

在我们的例子中，我们的HA集群提供的是负载均衡服务（LVS）和服务监控服务(Ldirectord)。这里集群的IP(虚拟)地址是必须配置的，不要在haresources文件以外的地方配置该IP地址。所以我们应该添加如下一行：

linuxha1 IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm ldirectord::www ldirectord::mail

::前的表示服务脚本名称(IPaddr)，你可以在目录/etc/ha.d/resource.d下找到一个脚本名叫 Ipaddr，后面的表示输入的参数。

Heartbeat 会在下面的路径搜索同名的启动脚本：
/etc/ha.d/resource.d
/etc/rc.d/init.d

这里的服务脚本的使用是符合Init标准语法，所以你可以在这里通过Heartbeat方便地运行、停止/etc/rc.d/init.d下标准的服务后台进程。

2.6.5.3. 配置 Authkeys

配置加密认证算法，有三种算法：CRC, md5,sha1。你会问我们应该用哪种呢？

如果你的heartbeat运行在一个安全的网络，例如CAT5交叉线，你可以用CRC，从资源开销上来说，这是最节省开销的。如果网络是不可靠的，而且你也不是一个网络安全痴狂者或者你十分关心CPU资源的最小开销，就用md5，最后如果你关心的是安全而不是CPU资源的开销，那么建议你使用sha1,你将会得到最佳的安全度，很难被黑客所破解。

格式如下：auth []

例： /etc/ha.d/authkeys

使用sha1
auth 1
1 sha1 key-for-sha1-any-text-you-want

使用md5
auth 1
1 sha1 key-for-md5-any-text-you-want

使用CRC
auth 2
2 crc

chmod 600 Authkeys

3.WindowsNT/2K做RealServer


在本文介绍的方案中，正如前面所提到的，集群中的真实节点可以是Linux系统，也可以是WindowsNT/2K或其它支持的系统，在本文例举的VS/DR方式下，支持WindowsNT/2K做为RealServer，提是你必须安装了MS Lookback Adapter。如果你没有在NT/2K上安装MS Lookback Adapter Driver,你可以选择添加新硬件，添加网络适配器，选择Microsoft，选择Lookback Adapter. 你可能会需要NT的安装盘。然后添加VIP (Virtual IP) 地址在 MS Loopback Adapter上, 不要输入网关gateway IP地址。子网掩码 255.255.255.255 在MS NT/2K会被认为是无效的。你有两种解决方法：

你先接受缺省的netmask, 然后进入MS-DOS 提示符，删除外部路由

c: route delete

这将改变包的发送方向到其它的网络界面，而不是MS Loopback interface. 因此在这里设置网络掩码为255.0.0.0 同样可以工作。

可以通过修改注册表设置子网掩码为255.255.255.255, 这在我的DR系统中工作良好。而且这比每次启动时删除外部路由的方法要方便的多。

在Windows 2000,中 网络界面（interfaces）在：

HKEY_LOCAL_MACHINE\\System\\CurrentControlSet\\Services\\Tcpip\\Parameters\\Interfaces

找到适当的网络界面IP地址，修改它的子网掩码，（注意修改方式）不需要重启，只需重新激活该网络界面即可。

本人强烈建议您使用第二种方法，这将带来极大的方便。


4.启动和测试


4.1. 启动： cd /etc/rc.d/rc0.d ; ln -s ../init.d/heartbeat K05heartbeat
cd /etc/rc.d/rc3.d ; ln -s ../init.d/heartbeat S75heartbeat
cd /etc/rc.d/rc5.d ; ln -s ../init.d/heartbeat S75heartbeat
cd /etc/rc.d/rc6.d ; ln -s ../init.d/heartbeat K05heartbeat



如果你安装的是rpm的版本，该连接已经被建立，就不需要手工建立以上连接了。

注意：

如果你使用watchdog 功能，你必须在启动的时候装入该模块。你可以在 /etc/rc.d/rc.sysinit 文件中加如一句：

/sbin/insmod softdog

4.2. 测试：

测试分为三部分测试

1)HA负载调度器测试

可以用telnet服务来验证HA负载调度器是否正常工作，方法：

修改haresources为：linuxha1.linux-ha.org IPaddr::192.168.7.110/24/192.168.7.255 telnet

在客户机上telnet到192.168.7.110上，你将会看到linuxha1,然后宕掉linuxha1, 再telnet到192.168.7.110上，你将会看到linuxha2，说明HA工作正常。中间间隔时间10秒左右。如果超过30秒仍无法正常工作，说明有问题存在。在测试中要保证至少有一条心跳线连接良好，否则重新连上心跳线后会引起资源上的混乱。

2)HA+LVS测试

如果HA负载调度器可以正常工作，那么就可以进行HA+LVS测试，方法类似：

修改haresources为：

linuxha1.linux-ha.org IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm

设置ipvsadm中相关http的规则。

在RealServers上打开httpd服务。然后在不同的RealServer www首页上以内容区分开来。然后在客户机上进行测试，客户机上的浏览器由于缓冲的缘故，你可能需要刷新几次。

再做宕机测试。看备份Director能否正常接管，并且使RealServers继续提供服务。

3)HA+LVS+Ldirectord测试

方法类似。修改haresources为：

linuxha1 IPaddr::192.168.7.110/24/192.168.7.255 ipvsadm ldirectord::www

加入ldirectord服务监控进程。宕掉部分RealServers上的服务，进行测试。你可以通过运行ipvsadm查看ipvs的路由表来确定宕掉服务的RealServer的相关该服务路由信息是否被更改。

如果以上测试都能正常通过，恭喜你，你的心血没有白费。你将会得到一个高可用、高性能、高可伸缩性的服务集群。

结束语


到此，本文已接近尾声，希望通过对本文的阅读，能够让你了解什么是Linux下的集群技术，更重要的是让你知道如何一步步地亲自去构建Linux下的集群。锻炼你理论与实际相结合工作的能力，能给你带来工作中的乐趣与收获。同时希望能与大家一起交流Linux下的相关技术，互相促进，相互提高。


参考资料
章文嵩博士的相关撰文： LVS 系列文章

上相关文档

上相关文档

关于作者
陆飞，杭州市地方税务局西湖征收管理局, 欢迎与我联系。我的电子邮箱是： [e-mail]、 [e-mail]。