RHCS集群理论

RHCS集群理论详解
一.RHCS是什么？
RHCS是Red Hat Cluster Suite，就是红帽集群套件，RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大集群架构融合一体，可以给web应用、数据库应用等提供安全、稳定的运行环境。

更确切的说，RHCS是一个功能完备的集群应用解决方案，它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现，通过RHCS提供的这种解决方案，不但能保证前端应用持久、稳定的提供服务，同时也保证了后端数据存储的安全。
RHCS提供了集群系统中三种集群构架，分别是高可用性集群、负载均衡集群、存储集群。

二.RHCS集群概述
高可用集群是RHCS的核心功能。当应用程序出现故障，或者系统硬件、网络出现故障时，应用可以通过RHCS提供的高可用**管理组件自动、快速从一个节点切换到另一个节点，节点故障转移功能对客户端来说是透明的，从而保证应用持续、不间断的对外提供服务，这就是RHCS高可用集群实现的功能。

RHCS通过LVS来提供负载均衡集群，而LVS是一个开源的、功能强大的基于IP的负载均衡技术，LVS由负载调度器和服务访问节点组成，通过LVS的负载调度功能，可以将客户端请求平均的分配到各个服务节点，同时，还可以定义多种负载分配策略，当一个请求进来时，集群系统根据调度算法来判断应该将请求分配到哪个服务节点，然后，由分配到的节点响应客户端请求，同时，LVS还提供了服务节点故障转移功能，也就是当某个服务节点不能提供服务时，LVS会自动屏蔽这个故障节点，接着将失败节点从集群中剔除，同时将新来此节点的请求平滑的转移到其它正常节点上来；而当此故障节点恢复正常后，LVS又会自动将此节点加入到集群中去。而这一系列切换动作，对用户来说，都是透明的，通过故障转移功能，保证了服务的不间断、稳定运行。

RHCS通过GFS文件系统来提供存储集群功能，GFS是Global File System的缩写，它允许多个服务同时去读写一个单一的共享文件系统，存储集群通过将共享数据放到一个共享文件系统中从而消除了在应用程序间同步数据的麻烦，GFS是一个分布式文件系统，它通过锁管理机制，来协调和管理多个服务节点对同一个文件系统的读写操作。

三.RHCS集群架构
RHCS集群从整体上分为三大部分，负载均衡集群、 高可用性集群、存储集群，典型的RHCS集群拓扑结构如图：


最上层是LVS负载均衡层，通过LVS进行客户端请求的负载分配，是整个集群系统的入口，为了避免造成单点故障，所以用两台LVS服务器组成了LVS高可用集群，当主LVS出现故障时，备用LVS将自动接管主LVS的服务，通过这种机制保证LVS调度服务持久，稳定运行；

中间层是realserver层即服务节点部分，客户端的访问都是调度这些节点来响应请求，为了保证客户端访问的一致性，RHCS集群一般通过GFS文件系统为集群提供一个一致的数据镜像。由于GFS是一个分布式文件系统，读写操作都是由专一的分布式锁进程进行管理，因此，需要在每个服务节点上安装RHCS集群基础套件。

最后一层是共享存储层，主要用于为GFS文件系统提供共享存储空间，如通过iSCSI将共享存储导入到以太网上供每个服务节点使用；

四.RHCS集群的组成
RHCS是一个集群工具的集合，主要由以下部分组成：
1.集群构架管理器
这是RHCS集群的一个基础套件，提供一个集群的基本功能，使各个节点组成集群在一起工作，具体包含分布式集群管理器（CMAN）、成员关系管理、锁管理（DLM）、配置文件管理（CCS）、栅设备（FENCE）。

2.高可用服务管理器
提供节点服务监控和服务故障转移功能，当一个节点服务出现故障时，将服务转移到另一个健康节点。

3.集群配置管理工具
RHCS最新版本通过LUCI来配置和管理RHCS集群，LUCI是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统

4.LVS
LVS是一个开源的负载均衡软件，利用LVS可以将客户端的请求根据指定的负载策略和算法合理的分配到各个服务节点，实现动态、智能的负载分担。

RHCS除了上面的几个核心构成，还可以通过下面一些组件来补充RHCS集群功能:
5.GFS (Global File System)
GFS是Redhat公司开发的一款集群文件系统，目前的最新版本是GFS2，GFS文件系统允许多个服务同时读写一个磁盘分区，通过GFS可以实现数据的集中管理，免去了数据同步和拷贝的麻烦，但GFS并不能孤立的存在，安装GFS需要RHCS的底层组件支持。

6.CLVM
Cluster逻辑卷管理，即CLVM，是LVM的扩展，这种扩展允许cluster中的机器使用LVM来管理共享存储.

7.iSCSI
iSCSI是一种在Internet协议上,特别是以太网上进行数据块传输的标准,它是一种基于IPStorage理论的新型存储技术，RHCS可以通过ISCSI技术来导出和分配共享存储的使用。

五.RHCS组件及说明


1.分布式集群管理器(CMAN)
Cluster manager 简称CMAN，是一个分布式集群管理工具，运行在集群的各个节点上，为RHCS提供集群管理任务。

它用于管理集群成员、消息和通知。它通过监控每个节点的运行状态来了解节点成员之间的有关系。当集群中某个节点出现故障时，节点成员关系将发生改变，CMAN及时将这种改变通知底层，进而做出相应的调整。

CMAN根据每个节点的运行状态，统计出一个法定节点数，作为集群是否存活的依据。当整个集群中有多于一半的节点处于激活状态时，表示达到了法定节点数，此集群可以正常运行，当集群中有一半或少于一半的节点处于激活状态时，表示没有达到法定的节点数，此时整个集群系统将变得不可用。
CMAN依赖于CCS，并且CMAN通过CCS读取cluster.conf文件。

2.分布式锁管理器(DLM)
Distributed Lock Manager，简称DLM，是一个分布式锁管理器，它是RHCS的一个底层基础构件，同时也为集群提供了一个公用的锁运行机制。DLM运行在每个节点上,GFS通过锁管理器的机制来同步访问文件系统的元数据。CLVM通过锁管理器来同步更新数据到LVM卷和卷组。

DLM不需要设定锁管理服务器，它采用对等的锁管理方式，大大提高了处理性能。同时，DLM避免了单个节点失败需要整体恢复的性能瓶颈。另外，DLM的请求是本地的，不需要网络请求，因此请求会立即生效。最后，DLM通过分层机制，可以实现多个锁空间的并行锁模式。

3.配置文件管理(CCS)
cluster configuration system 简称CCS，主要用于集群配置文件管理和配置文件在节点之间的同步。CCS运行在集群的每个节点上，监控每个集群节点上的单一配置文件/etc/cluster/cluster.conf的状态。当这个文件发生任何变化时，都将些变化更新至集群中的每个节点上，时刻保持每个节点的配置文件同步。
例如，管理员在节点1上更新了集群配置文件，CCS发现节点1的配置文件发生变化后，马上将此变化传播到其他节点上去；
cluster.conf是一个XML文件，其中包含集群名称，集群节点信息，集群资源和服务信息，fence设备等。

4.栅设备(Fence)
Fence设备是RHCS集群中必不可少的一个组成部分，通过Fence设备可以避免因出现不可预知的情况而造成的“脑裂”现象，FENCE设备的出现，就是为了解决类似这些问题，Fence设备主要就是通过服务器或存储本身的硬件管理接口，或者外部电源管理设备，来对服务器或存储直接发出硬件管理指令，将服务器重启或关机，或者与网络断开连接。

fence的工作原理是：当意外原因导致主机异常或者宕机时，备机会首先调用Fence设备，然后通过Fence设备将异常主机重启或者从网络隔离，当Fence操作成功执行后，返回信息给备机，备机在接到Fence成功的信息后，开始接管主机的服务和资源。这样通过Fence设备，将异常节点占据的资源进行了释放转移，保证了资源和服务始终运行在一个节点上。

RHCS的Fence设备可以分为两种：内部Fence和外部Fence，常用的内部Fence有IBM RSAII卡，HP的iLO卡，以及IPMI的设备等；外部fence设备有UPS、SAN SWITCH、NETWORK SWITCH等

5.高可用服务管理器rgmanager
高可用服务管理主要用来监督、启动和停止集群的应用、服务和资源。它提供了一种对集群服务的管理能力，当一个节点的服务失败时，高可用性集群服务管理进程可以将服务从这个失败节点转移到其它健康节点上来，并且这种服务转移能力是自动、透明的。

RHCS通过rgmanager来管理集群服务，rgmanager运行在每个集群节点上，在服务器上对应的进程为clurgmgrd。
在一个RHCS集群中，高可用服务包含集群服务和集群资源两个方面，集群服务其实就是应用服务，例如apache、mysql等，集群资源有很多种，例如IP地址、运行脚本、ext3/GFS文件系统等。

在RHCS集群中，高可用服务是和一个失败转移域结合在一起的，所谓失败转移域是一个运行特定服务的集群节点的集合。在失败转移域中，可以给每个节点设置相应的优先级，通过优先级的高低来决定节点失败时服务转移的先后顺序，如果没有给节点指定优先级，那么集群高可用服务将在任意节点间转移。因此，通过创建失败转移域不但可以设定服务在节点间转移的顺序，而且可以限制某个服务仅在失败转移域指定的节点内进行切换。

6.集群配置和管理工具
RHCS提供了多种集群配置和管理工具，常用的有基于GUI的system-config-cluster、Conga等，也提供了基于命令行的管理工具

system-config-cluster是一个用于创建集群和配置集群节点的图形化管理工具，它有集群节点配置和集群管理两个部分组成，分别用于创建集群节点配置文件和维护节点运行状态。一般用在RHCS早期的版本中。

Conga是一种新的基于网络的集群配置工具，与system-config-cluster不同的是，Conga是通过web方式来配置和管理集群节点的。Conga有两部分组成，分别是luci和ricci，luci安装在一个独立的计算机上，用于配置和管理集群，ricci安装在每个集群节点上，Luci通过ricci和集群中的每个节点进行通信。

RHCS也提供了一些功能强大的集群命令行管理工具，常用的有clustat、cman_tool、ccs_tool、fence_tool、clusvcadm等；

7.GFS
GFS是RHCS为集群系统提供的一个存储解决方案，它允许集群多个节点在块级别上共享存储，每个节点通过共享一个存储空间，保证了访问数据的一致性，更切实的说，GFS是RHCS提供的一个集群文件系统，多个节点同时挂载一个文件系统分区，而文件系统数据不受破坏，这是单一的文件系统，例如EXT3、EXT2所不能做到的。

为了实现多个节点对于一个文件系统同时读写操作，GFS使用锁管理器来管理I/O操作，当一个写进程操作一个文件时，这个文件就被锁定，此时不允许其它进程进行读写操作，直到这个写进程正常完成才释放锁，只有当锁被释放后，其它读写进程才能对这个文件进行操作，另外，当一个节点在GFS文件系统上修改数据后，这种修改操作会通过RHCS底层通信机制立即在其它节点上可见。

在搭建RHCS集群时，GFS一般作为共享存储，运行在每个节点上，并且可以通过RHCS管理工具对GFS进行配置和管理。这些需要说明的是RHCS和GFS之间的关系，一般初学者很容易混淆这个概念：运行RHCS，GFS不是必须的，只有在需要共享存储时，才需要GFS支持，而搭建GFS集群文件系统，必须要有RHCS的底层支持，所以安装GFS文件系统的节点，必须安装RHCS组件。

参考资料：http://blog.chinaunix.net/uid-26931379-id-3558604.html

相关书籍：高性能Linux服务器构建实战(第12章)  高俊峰著