RHCS红帽集群系统配置详细

简 单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的 集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统 的节点。

通 过特殊的软件将若干服务器连接在一起并提供故障切换功能的实体我们称之为高可用集群。可用性是指系统的uptime，在7x24x365的工作环境 中，99%的可用性指在一年中可以有87小时36分钟的DOWN机时间，通常在关键服务中这种一天多的故障时间是无法接受的，所以提出了前面提到的错误恢 复概念，以满足99.999%的高可用性需求。

这里我们先说一下几个概念：

1、服务（Service），是ＨＡ集群中提供的资源，包括Float IP，共享的存储，apache等等。

2、成员服务器（Member Server） 也叫节点（Node），是HA中实际运行服务提供资源的服务器。

3、失效域（Failover Domain），是HA中提供资源的服务器的集合，当内部某个成员出现故障时，可以将服务切换到其他正常的成员服务器上。在HA中一个失效域一般包含2台成员服务器（未应用虚拟技术）。

4、心跳（HeartBeat）是HA中监控成员服务器状态的方法，一般心跳是通过网线和串口线来传输的。

5、单一故障点（Single Point Of Failuer，SPOF）是指一个系统的这样的一个部件，当它失效或者停止运行，将导致整个系统不能工作。在HA中通常使用双电源，多网卡，双交换机等来避免SPOF。

6、 仲裁（Quorum）是HA中为了准确的判断服务器及其提供的服务是否正常而采用的在共享磁盘中保存成员服务器信息的方法。共享的状态信息包括群集是否活 跃。服务状态信息包括服务是否在运行以及哪个成员正在运行该服务。每个成员都检查这些信息来保证其它成员处于最新状态。在一个只有两个成员的群集中，每个 成员都定期把一个时间戳和群集状态信息写入位于共享磁盘贮存区的两个共享群集分区上。要保证正确的群集操作，如果某成员无法在启动时写入主共享群集分区和 屏蔽共享群集分区，它将不会被允许加入群集。此外，如果某群集成员不更新其时间戳，或者到系统的"heartbeats"(心跳)失败了，该成员就会从群 集中删除。

7、 Fence设备，Fence设备的作用时在一个节点出现问题时,另一个节点通过fence设备把出现问题的节点重新启动，这样做到了非人工的干预和防止出 现问题的节点访问共享存储，造成文件系统的冲突，关于Fence 设备,有外置的比如APC的电源管理器.很多服务器都是内置的，只不过不同厂家的叫法不 同而已。比如HP的称为iLo，IBM的称为BMC，Dell的称为DRAC。

    LUCI——RHCS（RedHat Cluster Suite） 提供了多种集群配置和管理工具，常用的有基于GUI的system-config-cluster、Conga等，也提供了基于命令行的管理工具。 system-config-cluster是一个用于创建集群和配置集群节点的图形化管理工具，它有集群节点配置和集群管理两个部分组成，分别用于创建 集群节点配置文件和维护节点运行状态。一般用在RHCS早期的版本中。 Conga是一种新的基于网络的集群配置工具，与system-config- cluster不同的是，Conga是通过web方式来配置和管理集群节点的。Conga有两部分组成，分别是luci和ricci，luci安装在一独 立的计算机上（即服务器），用于配置和管理集群，ricci安装在每个集群节点上，Luci通过ricci和集群中的每个节点进行通信。

一、HA的搭建

实验环境：RHEL6.5    iptables    and    selinux        disabled

三台主机：                IP                                          hostname

                    192.168.2.60（服务器）          server60.example.com

                    192.168.2.167(node1)             server67.example.com

                    192.168.2.168(node2)             server68.example.com

分别修改两节点的/etc/hosts

 192.168.2.167            server67.example.com

 192.168.2.168            server68.example.com

关闭火墙#iptables    -F

            #service iptables save

关闭selinux    #setenforce 0

同步两台主机的系统时间

#yum install ntpdate

#ntpdate 192.168.2.60

在两台节点主机上分别安装ricci

#yum install ricci

启动ricci服务

#service    ricci    start

设置为开机自启动

#chkconfig ricci on

为ricci设置密码

#passwd ricci

重启服务器的luci

#service luci restart

Stop luci...                                               [  OK  ]
Start luci...                                              [  OK  ]
Point your web browser to (or equivalent) to access luci
web访问/cluster/

进入网页编辑

先用root登录

再用本地用户登录

 再用root登录时点击右上角Admin，为普通用户lee授权

 这时候就可以创建集群

这时，两节点主机将会重启。这就是为什么把ricci服务设置为开机自启动且将iptables关闭的原因。

创建完成会自动在节点上写入文件/etc/cluster/cluster.conf

<?xml version="2.0"?>
<cluster config_version="1" name="leeypp">
        <clusternodes>
                <clusternode name="server67.example.com" nodeid="1"/>
                <clusternode name="server68.example.com" nodeid="2"/>
        </clusternodes>
        <cman expected_votes="1" two_node="1"/>
        <fencedevices/>
        <rm/>
</cluster>

二、fence device 隔离设备 

用kvm虚拟机来做这个隔离设备

实验环境:RHEL6 selinux and iptables disabled

主机:KVM虚拟机

hostname            ip                         kvm domain name

node1         192.168.2.137                     vm1

node2         192.168.2.138                     vm2

192.168.2.60    服务器

#yum install fence-virt fence-virtd fence-virtd-libvirt fence-virtd-multicast -y

# fence_virtd -c        设置隔离设备

Module search path [/usr/lib64/fence-virt]:

Available backends:

libvirt 0.1

Available listeners:

multicast 1.0

Listener modules are responsible for accepting requests

from fencing clients.

Listener module [multicast]:

The multicast listener module is designed for use environments

where the guests and hosts may communicate over a network using

multicast.

The multicast address is the address that a client will use to

send fencing requests to fence_virtd.

Multicast IP Address [225.0.0.12]:

Using ipv4 as family.

Multicast IP Port [1229]:

Setting a preferred interface causes fence_virtd to listen only

on that interface. Normally, it listens on all interfaces.

In environments where the virtual machines are using the host

machine as a gateway, this *must* be set (typically to virbr0).

Set to ‘none‘ for no interface.

Interface [none]: br0

The key file is the shared key information which is used to

authenticate fencing requests. The contents of this file must

be distributed to each physical host and virtual machine within

a cluster.

Key File [/etc/cluster/fence_xvm.key]:

Backend modules are responsible for routing requests to

the appropriate hypervisor or management layer.

Backend module [libvirt]:

The libvirt backend module is designed for single desktops or

servers. Do not use in environments where virtual machines

may be migrated between hosts.

Libvirt URI [qemu:///system]:

Configuration complete.

=== Begin Configuration ===

backends {

libvirt {

uri = "qemu:///system";

}

}

listeners {

multicast {

key_file = "/etc/cluster/fence_xvm.key";

interface = "br0";

port = "1229";

address = "225.0.0.12";

family = "ipv4";

}

}

fence_virtd {

backend = "libvirt";

listener = "multicast";

module_path = "/usr/lib64/fence-virt";

}

=== End Configuration ===

Replace /etc/fence_virt.conf with the above [y/N]? y

注:以上设置除“Interface”处填写虚拟机通信接口外,其他选项均可回车保持默认。

#dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1

#scp /etc/cluster/fence_xvm.key 192.168.2.138:/etc/cluster（该目录默认是不存在的，可用mkdir来创建）

#scp /etc/cluster/fence_xvm.key 192.168.2.137:/etc/cluster

#service fence_virtd start

#chkconfig fence_virtd on

# netstat -anulp |grep fence

udp 0 0 0.0.0.0:1229 0.0.0.0:* 7519/fence_virtd

#cd /etc/cluster

查看是否存在fence_virtd文件

现在在网页管理上添加隔离设备 

在domain后添加server37主机的uuid

在domain后添加server38主机的uuid

#fence_xvm    -H    vm1    看看是否可以操作你的虚拟机，如果成功，vm1将会重启。

且另一个节点会热接管

设置两节点的下列服务为开机自启动：

#chkconfig cman on

#chkconfig rgmanager on

#chkconfig modclusterd on

#chkconfig clvmd on

设置故障转移域（failover domains）

添加资源（resourses）

（该IP不为其他主机所用）

添加成功之后

添加服务组（Server Groups）

在节点上执行的命令

#clusvcadm -d www   关闭此服务组
#clustat  查看节点和服务的状态
#clusvcadm -e www 开启此服务组

刚刚添加了apache服务，所以要在每个节点上安装apache服务

#yum install -y httpd

为了区分两台内容可以重新编辑一下默认访问主页

#cd /var/www/html/

#echo `hostname` > index.html

ok现在可以在web网页上访问

就有主机名

刚刚添加的那个ip服务，它是一个浮动ip

192.168.2.111就可以看到你做的那个优先级高的再接管服务

如果将这个节点上的http关掉，那么那个优先级低的候补立马接管

如果ifconfig eth0 down 是这个节点的网可关掉，它会尝试恢复，如果恢复不了，就会被集群forceoff，然后重启当替补，如果优先级高的话，那么它就会立即接管给集群管理加存储服务

三、给集群管理加存储服务

1.ext4文件系统

192.168.0.237（节点）server67.example.com

192.168.0.248（节点）server68.example.com

192.168.0.60（服务器）server60.example.com

在一个存储服务器上共享一块硬盘，作为存储（在实验中，就直接在集群管理的那台服务器上共享一块硬盘）

#yum install scsi-*

#vgs

#lvcreate -L 1G -n iscsi cinder-volumes

#lvs

#vim /etc/tgt/targets.conf

#/etc/init.d/tgtd start

#chkconfig tgtd on

#tgt-admin -s

#在节点上要可以发现这个共享的存储设备 ，在两个节点上都执行

#yum install iscsi-initiator-utils

#iscsiadm -m discovery -t st -p 192.168.0.60

#iscsiadm -m node -l   激活设备
#fdisk -l /dev/sda

 现在在两个节点上给此设备做 分区和格式化 (做本地文件系统 ext4)

#fdisk -cu /dev/sda

#mkfs.ext4 /dev/sda1 

在web管理界面上添加存储设备资源和资源组

再去资源组(Server Groups)添加此资源

ok现在操作服务组

#clustat

#clusvcadm -d www

现在将此设备先挂载到/var/www/html下

启动服务

#clusvcadm -e www

#clustat     查看服务是否启动成功

#clusvcadm -r www -m server38.example.com

#clustat    这是会发现www运行在server38主机上

2.设备的分区和格式化 (即网络文件系统 gfs2)

clusvcadm -d www   先停掉服务组 

删掉服务组里（servies groups）的文件系统（filesystem）资源，再到资源里删掉（delete）存储设备资源

fdisk -cu /dev/sda  把它做成LVM形式

这时在另一节点主机上运行pvs就可以看到刚创建的

pvcreate /dev/sda1

lvmconf --enble-cluster 在 /etc/lvm/lvm.conf做更改，使它可以支持集群

重启服务  /etc/init.d/clvmd restart

在另一节点主机上运行lvs，可以看见同步到的gfs2demo

格式化为gfs2的格式 -t跟更集群的名字：后是标签

两节点主机都进行挂载

# mount /dev/clustervg/gfs2demo /var/www/html

设置为开机自动挂载 直接写入/etc/fstab文件， 在所有节点都做这个操作

查看系统设备信息

vim /etc/fstab

现在mount -a 刷此文件，同时挂载

cd /var/www/html

vim index.html  写东西来进行web测试 

web访问集群

192.168.0.111可以看到index.html文件里写入的内容

ok现在开启服务组

clusvcadm -e www

clusvcadm -d www  先停掉服务组

在web管理上面添加

 在/etc/fstab中注释掉gfs2设备的挂载  ，解挂

现在在资源加存储设备资源，集群管控添加服务组

ok现在开启服务组

clusvcadm -e www

现在哪个节点工作，那个节点挂载

前提：clusvcadm -d www 删掉原来的存储设备
   lvs
   vgs
   vgremove clustervg
   lvs
   pvs
   pvremove /dev/sda1
   iscsiadm -m node -u
   iscsiadm -m node -o delete