基于SAN环境下的多机集群方案

一、概述
HP  EVA3000是HP公司在光纤产品上高性能的存储设备，它采用FC, 10K ,rpm--硬盘进行数据存储，有效的保障了数据的安全性大容量存储的实现。在双机热备方案是稳定性领先业内其它磁盘阵列及磁盘柜方式，主要的优点表述如下：
阵列控制器内置于磁盘阵列中，并通过FC HBA卡与主机连接，提高了阵列的访问速度。因为使用的是FC硬盘，所以可以很轻松的在本产品上实现TB级的存储能力。
同时HP的EVA 3000同以往的阵列不同，因为数据在传输线路上使用的是光纤 HBA卡，所以在双机切换中，切换的安全性需要双机软件强有力的支持，否则在双机切换过程中容易出现数据丢失的情况，而目前市场上的大部分双机热备软件因不能适应HP产品的更新换代，大部分不能很好的支持。所以带来的问题依然严重，一方面是硬件的兼容情，其它厂商的HBA卡同EVA 3000存储一点兼容性方面的问题。另一方面这种存储方式不象以前我们看到的SCSI阵列功能，因此如果还使用以前的双机软件则不能很好的兼容这款设备。
所以说，HP的产品系列有着较高的可用性及安全性，但由于存在这种两台主机只能由一台主机看到磁盘柜的原因，所以市场上大部分双机热备软件不能支持HP  EVA3000这样的系统。
PlusWell热备份软件，根据市场需求的变化，及时调整策略，很快就拿出了基于EVA 3000的安全双机热备软件系统，可以安全的支持HP全系列存储系统。
二、存储方案
存储设计原则
通过对@@@@@@@@@@@系统的业务分析，制定了本存储方案。系统的总体设计原则如下：
1、通过光纤连接磁盘阵列，保证系统的高性能。可通过增加扩展模块（可以增加16个扩展柜，每个柜可以放置14块2GB FC磁盘）提高系统的存储容量。（FastT900可扩至67TB）
2、系统采用全光纤磁盘阵列产品，保证系统的高性能。
所采用的磁盘阵列产品在结构上及硬件组成上完全是冗余设计（如阵列控制器、后端2条光纤环路、电源、风扇、链路控制器、双口光纤硬盘等），不存在单点故障，确保整套系统的安全运行。
3、磁盘阵列可采用不同的RAID保护级别，保证用户的不同需求。
4、存储系统（磁盘阵列），可提供高可扩展性，可在线扩容，有很好的投资保护。
5、所有硬件均可支持热插拔，保证系统应用的连续性。
6、系统升级不必停机，可在线升级。
7、系统具有良好的开放性，不同厂家产品之间能够互连。系统支持多种主机系统及集群系统。
8、系统安全性很高，可根据用户的要求，完成数据的隔离或共享。
9、可通过增加应用软件来支持物理通路的冗余连接，以提高系统的安全性。
10、存储产品采用基于的图形管理界面，维护简单。并可移植到网管软件（HP Openview 、IBM Tivoli等）中，对磁盘阵列进行管理维护。
存储系统建议方案
考虑到现在应用和日后的升级。存储系统采用目前最为先进的SAN（存储区域）技术，构建整个存储系统。存储的核心存储设备推荐采用1台HP EVA3000磁盘阵列产品，和光纤交换机（16口）
方案存储系统配置说明(详细配置见配置表)
        设备名称        设备说明        数量
磁盘阵列        HP EVA3000基础模块        双控制器，冗余电源风扇，支持RAID 0，1，3，5，10        1
        @@@@@@扩展模块        磁盘扩展模块        @
        FC硬盘        146GB 10000RPM双光纤接口硬盘        @
光纤交换机        @@@@@@@@@        16口光纤交换机，共配置16个光纤模块        2
本存储系统方案特点
高扩展性
HP EVA3000可根据用户要求，任意在线扩展磁盘阵列容量。可支持2—224块双光纤接口硬盘，容量36GB—67TB。可支持:
36GB、73GB、146GB、300GB 10000rpm光纤接口硬盘
18GB、36GB、73GB 15000rpm硬盘
250GB 7200rpm(SATA)硬盘
高安全性
EVA3000盘阵配置IBM FAStT Storage Manager存储管理软件。根据用户要求，对不同主机实现数据共享或数据访问隔离。
EVA3000采用双控制器，写缓存镜像。每个控制器镜像缓存为2GB。在任意一个控制器发生问题时，保证数据不会丢失，且保证前端主机访问的连续性。
EVA3000硬盘采用双光纤接口，连接到背板的2个光纤环路上，保证通路的冗余。
EVA3000电源、风扇均为冗余设计。
EVA3000 Cache采用电池保护，保证在突然断电时，Cache中的数据不会丢失。
EVA3000支持RAID0、1、0/1、3、5级别保护，并可支持多块全局热备盘（Hot Spare磁盘），使系统内任意一块磁盘发生问题时，都不会造成数据的丢失，且不会影响到前端主机的访问。
整个磁盘阵列不存在单点故障。
EVA3000所有硬件：电源、风扇、硬盘、、链路控制卡均支持在线更换，且软件升级不需停机。
EVA3000可在线增加扩展模块EXP700及硬盘，达到容量扩展的目的。可以增加16个EXP700扩展单元。
高性能
EVA3000采用双控制器，不仅提高了安全性，而且同时工作，提高了数据的处理速度。
EVA3000是最新的全光纤磁盘阵列产品，前端可提供4条主机光纤通道接口，后端通过2条光纤环路与硬盘连接。
EVA3000提供4个主机通道接口，通过配置2个FC集线器可将主机接口从4个扩展至8个2Gb/s光纤通道，可同时接入SAN，并行处理数据，可大大提高数据处理能力。
EVA3000使用2GB光纤通道连接，最高磁盘吞吐速率可达795MB/S，持续I/O吞吐速率为148000IO/S，提供具有良好响应特性的快速数据访问。
易管理
EVA3000可通过串口或TCP/IP网络直接对磁盘阵列进行设置。可采用命令行（CLI）或图形界面（GUI）两种方式。采用图形界面，可以直观地看到磁盘阵列的运行情况，设置极为简单。
EVA3000阵列设置软件可集成在HP OpenView、IBM Tivoli、Unicenter等网管软件中。
投资保护
此方案中配置的HP EVA3000磁盘阵列具有很高的扩展性，可根据用户需求的变化，在线扩展存储容量，及存储性能。
方案中配置1台16口光纤交换机组成SAN（存储区域网），如有扩充需要，只要添加交换机集联，即可满足用户今后的系统扩容需求提供有力的支持和协助。





三、        集群方案
1.1.        PlusWell容错产品的特色
基于HP的产品特色，我们将容错软件基本特性在本软件中充份体现：可以被PlusWell HA软件保护的资源有：

1：卷（Volume）
2：IP 地址
3：共享文件
4：管理器服务器名称
5：应用程序(数据库)
6：用户自定义软件
1.2.        心跳故障检测Heartbeat
PlusWell HA容错软件在集群节点间保持着间歇的通信信号，也叫做心跳信号，是错误检测的一个机制。即通

过每一个通信路径，在两个对等系统之间进行周期性的握手,如果连续没有收到的心跳信号到了一定的数目，PlusWell HA 容错软件就把这条路径标示为失效（红色）。
如果你只定义了一条通信路径，当PlusWell HA 容错软件把这唯一的一条通信路径标为失效时， PlusWell HA容错软件便立即开始恢复过程。然而，如果你有冗余路径， PlusWell HA容错软件能够通过第二条路径确定是系统故障还是只是通信路径有问题。如果PlusWell HA 容错软件开启优先级第二的通信路径并收到了心跳信号，它就不开始failover恢复，只需要把第一条通信路径标成红色（失效），作为信号告诉你需要修复有故障的路径。
一般情况下PlusWell HA容错软件 只在下列事件发生时，启动系统恢复功能：
所有的通信路径故障。如果所有节点都没能收到心跳信号， 把所有通信路径都标为失效， PlusWell HA 容错软件开始安全检查。
安全检查失败。当所有通信路径故障时，PlusWell HA容错软件向整个发出安全检查信号。如果信号指出配对系统还“活”着的时候，PlusWell HA容错软件不启动Failover。如果安全检查没从配对节点返回信号，PlusWell HA容错软件就开始Failover。同时可以以多种方式mail，传真或其它的手段通知用户来处理应急事务。
通信路径
   PlusWell HA容错软件支持在节点之间和心跳通讯中，使用如下通讯路径：
(1) socket，即套接字。你使用任何的硬件接口，只要它能够支持TCP/IP的通讯协议。这样的硬件包括：以太网、快速以网。
(2)串行口 在PlusWell HA容错软件配置中， 你应当配置有一个串行口通信路径。串口通信路径需要利用RS232的拟调解线路来与PlusWell HA容错软件系统相连接。
PlusWell HA 容错软件假定当通过心跳信号检测其它服务器失败时，则认为此服务器是关闭的。因此，为了避免不必要的失效切换，最好建立两种以上独立的物理路径，使用至少两种心跳。
例如，如果两个服务器被一个串口连接起来，并且，从属服务器来的心跳信号无法被主服务器所检测到，则下面之一是可能引起这一现象的原因：
服务器的RS-232卡或者端口失败
电缆失效
主服务器暂时挂起
主服务器失败
失效切换只可能在最后一种情况下才发生。因此，节点间的多种通信路径可以帮助避免不必要的失效切换。

1.3.        软件拓扑
以下是结合HP  EVA3000产品的拓扑结构：

PlusWell Cluster容错软件配置示范








软件、硬件配置
a、软件：PlusWell Cluster 容错软件。
b、硬件：服务器可以是任何Intel基础上的平台， Server的型号、配置不必一致，只需硬件平台能保证 NT/2K/Linux/Unix运行；磁盘阵列正常使用。
说明：
I、共享的磁盘柜方式PlusWell HA容错软件的LUN切换
PlusWell HA容错软件的LUN切换：PlusWell HA容错软件管理共享磁盘上的数据，可以有效的将磁盘阵列的LUN在PlusWell软件的配合下，顺利的切换到备用服务器上。并用RAID Controllers 管理物理级。有了PlusWell HA 容错软件来管理对共享数据的访问，用户就可以不必担心双机热备份中有关磁盘的切换，可能会带来的数据访问冲突。PlusWell HA 容错软件自动在被应用程序定义为共享资源的磁盘卷上做主备机的切换。当被保护的应用程序由一个服务器被移动/转换到另一个服务器时， PlusWell HA 容错软件控制这些锁定，以保证激活服务器对共享卷的访问。
在主系统发生故障的情况下， 次节点系统将能够在磁盘上建立SCSI 锁定，并在备份的系统上将资源投入使用。
II、        Local Recovery（局部恢复）
PlusWell HA容错软件在快速检查执行预先定义的行为，以察看资源本身是否失效。如果快速检查告失败，系统将尝试局部恢复资源。如果尝试成功，资源将不会向下一优先级的节点进行失效切换（failover）。如果局部恢复尝试失败，系统将向下一优先级的节点进行失效切换。
III、        Failover（失效切换）
指定主要的节点或资源失败时，重新恢复资源的过程。一个失效切换通常是没有事先计划的，它将发生在一个被从属系统所检测到并确定为失败的情况下。
IV、        管理员可配置的迁回
允许PlusWell HA容错软件管理员通过命令行或GUI界面来指定资源，其所在LK节点发生故障而后又恢复正常，该资源将被自动地切换回到原来节点上。可能的值是Intelligent（智能的）和Automatic（自动的）。如果选择Automatic ，那么，一旦发生故障的节点回到服务状态时，被配置失效切换的层次都将被切换回到该节点上。如果策略是Intelligent，即使当发生故障的节点回到服务状态时，被配置失效切换的层次也会留在它们被失效切换到的节点上，等待由管理员决定合适的时间进行切换。
V、        Switchover（正常切换）
指用一个有顺序的方式关闭资源，然后将它们恢复到一个备份系统的过程。这通常发生在当你处于维护或者测试模式中的情况下。这时，没有任何东西失败。

1.4.        PlusWell HA的关键特点
        不用增加任何额外硬件投资，纯软件方式实现双机容错，且对备机无硬件配置要求。
        可支持DB2，Notes、Exchange、SQL Server、Sybase、Informix、Oracle 、SAP等多种系统的应用层热恢复。
        支持远程灾难备份
        支持共享磁盘阵列柜和镜像两种方式，给用户提供了选择上的灵活性，同时也能适应各种机型、结构、软件平台及应用系统。
        PlusWell HA容错软件在镜像或共享磁盘阵列任意方式下，均能实现两台服务器各自运行不同应用且相互热备份，即实现双Active运转模式。
        使用共享磁盘阵列柜方式时，最多可以支持32个节点，远远大于其它类似系统所支持的2个节点数。
        最大限度地保护用户端的应用连续性。用户的硬件资源(如网卡，软件资源如NT操作系统、数据库管理系统、数据库应用系统、电子邮件系统等)均能处于PlusWell HA容错软件的保护之下，当这些被保护资源出现技术故障时，PlusWell HA容错软件可随时实施系统资源切换。如此，PlusWell HA容错软件真正实现了用户硬件或是软件资源发生故障时系统及应用层上的在线热切换。
        PlusWell HA容错软件占用系统资源极少，不增加负荷，且不打扰任何具体应用系统的任何操作。
        PlusWell HA容错软件真正实现无人值守，全自动地实现应用资源切换，且图形界面操

作，简单方便。
        自投入使用以来，已经历了大量交易高峰的实际考验，其执行效率很高且运行十分稳定可靠，全球市场占有率第一。
        目前PlusWell HA容错软件有 NT/2000、Linux Sco UNIX三种版本。

1.5.        PlusWell HA软件技术标准

项目        功能说明
支持的操作系统        Sco unix(open server和unixware),linux (redhat,turbollinux,xteamlinux ,suse,redflag)和2003/2000
支持的硬件平台        Ibm,dell,hp,powerleader, 浪潮，联想等X86架构的服务器。支持IBM EXP300/400系列磁盘柜加4Lx，4Mx,4Hx，6Mx等RAID卡，支持DELL光纤磁盘阵列集群阵列MSA500、MSA1000等。
支持SCSI磁盘阵列系统及光纤磁盘阵列系统，支持SAN环境下的服务器集群热备
热备架构        共享存储方式、非共享存储方式。在用户数据量不大的情况下，提供非磁盘阵列方式的集群热备方式，用户可以不使用昂贵的磁盘阵列子系统，采用软件镜像的方式就可以完成集群热备。
热备方式        支持主备服务器形式：即一台服务器提供服务，另一台服务器做备用。
支持服务器双激活方式，即两台服务器同时向用户提供服务，当A服务器出现故障后，B服务器可以接管A服务器所有功能，同时提供B 服务器的原来正常的业务。
HA功能说明        对操作系统的检测：
当服务器出现死机，断电其它的意外故障时。HA可以将主服务器的全部功能切到备用服务器。
对的检测功能：
可以检测服务器是否正常，当主服务器出现故障时，可以及时将备用服务器启动，恢复服务。
对数据库的检测功能：
HA可以对DB2,ORACLE.Sybase,Informix,MSSQL Server,MySQL等数据库进行热备。并对此数据库及应用进行检测。当发现数据库出现故障时。可以及时在本地重启数据库或将数据库切往备份服务器。
用户特有程序的热备：
可以对用户的个别进程提供热备方法，及进程的检测功能。
第三方软件编程能力:
为特别用户提供特别服务，可以为用户提供第三方程序热备编程服务。

特别功能
        1、可以支持中英文版界面切换
2、支持HA界面可以根据用户喜好改变
3、支持单资源多进程检测功能
即在双机软件里面创建一个服务，同时监控多个进程。
4、支持有效声音报警及邮件报警和短信通知功能
当双机软件出现问题时。可以声音报警及邮件和短信通知管理员
5、支持对用户的文件共享做权限保护
具体指，当在主机上设置的共享权限。当切换到备机上。权存限依然存在。
6、支持有效的IP检测及检测功能
当连接的图标是正常。但接收包为零时。客户端无法连接上时。进行切换。


资质        1.        ISO9000国际认证。
2.        国家相关检测证明。
3.        软件著作权证明。
4.        软件商标证明。

售后服务
        三年免费电话支持及升级服务。
现场安装，厂家支持。

四、        数据备份
大型的工商业应用系统中，大多具有分布式应用系统的特性。一个典型的分布式应用系统具有一个或多个数据库服务器，业务逻辑服务器，以及往往成千上万的同时在线的客户。为了保证这样的系统能够安全，可靠地运行，以及当故障发生时能够迅速地恢复系统， 我们总是试图在这些服务器之间建立起互为补充的备份关系，以便当某服务器节点发生故障时能迅速地由其他节点接管其工作。因此这些服务器之间要保持充分的同步性。各种服务器的功能千差万别，并不存在能一劳永逸地解决所有问题的方案。
（一）        PlusWell Mirror原理
1、        PlusWell Mirror简介
PlusWell Mirror镜像是一种软件产品，专为/Linux系统设计的客户/服务器环境下一种有效、高性能的高可用性解决方案。单独使用PlusWell Mirror镜像软件，无需较贵的RAID磁盘子系统，无需考虑小型系统接口（SCSI）对缆线长度的限制，去除了单点故障（磁盘阵列子系统）。集群环境所要考虑的主要问题是系统总开销，而使用PlusWell Mirror镜像软件的PlusWell Cluster 容错软件 是解决这个问题的首选方案。公司只需最小的硬件集成便可以得到低价、高可用性的方案。
PlusWell Mirror镜像软件在局域网的服务器之间提供完全基于软件的镜像。一个服务器被指定为主服务，另一个为从服务器。客户只能对主服务器上的镜像文件夹进行读或写，从服务器上相应的文件夹被锁定以防对数据的存取，除非在主服务器上检测到故障状态。这是实现一个高性能方案要考虑的一个重要问题，因为数据的完整性是主要因素。尽管PlusWell Mirror镜像软件可以单独使用，但是与PlusWell Cluster 容错软件 配合使用会显著增强它的功能。
2  PlusWell Mirror特性
在PlusWell Mirror镜像环境下，一个镜像是主服务器上的一个或多个文件夹，而不是整块硬盘或分区，其内容与从服务器上的相关磁盘通过LAN同步。PlusWell Mirror镜像软件使磁盘上的文件镜像的创建更为容易。
在文件镜像建立后，主服务器和从服务器上的文件夹已经同步，并且两个服务器都已启动运行，出现下面的事件：
*最初的镜像建立后，系统禁止所有用户存取从服务器的镜像文件，不允许对从服务器上的镜像文件读和写。主服务器镜像则可以进行读和写操作。
*无论何时主服务器收到一个写请求，系统首先决定这个请求是否针对某个镜像文件夹。如果不是，写操作可以完全正常的完成。
*当从系统返回一个成功状态时，主系统在自己的镜像文件夹中执行写操作，并返回到请求方。如果从系统执行镜像文件夹写操作时发生错误，那么从系统上的写操作将被中止，主系统结束自己的镜像文件夹写请求。
2、        PlusWell Mirror特性
（1）        PlusWell Cluster提供的全系统检测功能与PlusWell Mirror的文件镜像功能相辅相承，使双机热备系统无需昂贵的磁盘阵列子系统。
（2）        使用PlusWell Mirror将数据由一个主机系统镜像到另一个主机系统，并与PlusWell Cluster相结合，可有效的避免磁盘阵列子系统中单点故障的可能性。
（3）        当主备服务器发生切换时。PlusWell Mirror开机后并不是以整盘再将备机数据分区或硬盘全部复制到主服务器，而是将备机中变化的数据部分复制到主服务器，如图所。减少了数据复制的时间，同时也增加了数据的安全性。
（4）具备远程的灾难复原能力
*PlusWell Mirror在服务器端的数据复制能力。
*PlusWell Mirror有在局域网和广域网的数据复制能力。
*所有PlusWell Mirror

都可以配合蓝科泰达的Cluster HA软件，实现异地的数据备份功能。








使用带有PlusWell Cluster 镜像功能的PlusWell Cluster 容错软件 来进行配置，其中 Server1 是主服务器，Server2 是从服务器。
当一个客户向 Server1上的镜像文件夹发出写命令，PlusWell Cluster 镜像软件保证写命令通过送给 Server2，Server2上的写操作成功完成时，Server1上的写操作才能完成。因此，两处系统能够同时更新，因此主、从服务镜像文件夹中的数据一致性得以保证。
软件、硬件配置
1、软件：PlusWell Cluster 和PlusWell Mirror
2、硬件：服务器可以是任何INTEL基础上的平台，两台Server的型号、配置不必一致，只需硬件平台能保证系统运行
1、PlusWell Mirror运行机制
I、通讯路径
“Heartbeat”是服务器间发出的周期性检测信息，它允许PlusWell Cluster 容错软件决定服务器的状态。当一个服务器向另一处服务器发送一个“Heartbeat”消息，并且在规定时间段里没有得到任何回应时， 发送消息的服务器开始评测接收消息的服务器是否正在发生故障。多种“Heartbeat”检测信号保证故障检测的可靠性，以防止不必要的资源服务切换。PlusWell Cluster 容错软件为PlusWell Cluster镜像提供下列途径上的“Heartbeat”通信：
（1）        Socket （TCP/IP ）
（2）        RS-232 TTY通信端口（Communications port ）
PlusWell Cluster镜像软件消除了共享SCSI 的需要。
II、主服务器发生故障
客户向Server1上运行的一个程序发送一个请求，而Server1出现写错误时，使用带有PlusWell Cluster镜像功能的PlusWell Cluster 容错软件能够检测出系统失败。然后，PlusWell Cluster 容错软件 执行恢复规则，试图关闭Server1上的应用，并且在Server2上重新启动它们。Server2现在承担主服务器的角色，镜像文件夹地址从Server1转移到Server2上去，这个转换过程对用户来说是透明的，客户一般不会发现系统曾经发生这样的故障。
一旦系统发生的故障被被纠正过来，管理员必须重新同步镜像文件夹。重新同步这些文件夹并被锁定，目的是不接受任何客户的存取。在这个过程中，非镜像应用不会受到影响，因此这些应用可以毫无干扰的继续运行。系统管理员可以选择何时对镜像文件夹进行同步，通过提供选择时间的灵活性达到对整个系统的影响减为最小。
重新同步主服务器和从服务器上镜像的时间依赖于文件夹的大小。 一般情况下，在100MB 以太网上， 恢复1Gigabyte（GB）的数据只需要10分钟。
III、从服务器发生故障
当从系统发生故障时，受影响的镜像文件夹标志为Broken。有必要纠正这些故障，并重新同步有关的文件夹。当从系统发生故障时，任何写请求不会送给从系统。当从服务器发生故障后再次恢复时，镜像管理器用来重新同步主镜像文件夹和从镜像文件夹。
1、        工作方式
I、        Active/Standby









Active/Active







PlusWell Mirror 具有以上两种工作方式，可支持两个Server系统。
4、PlusWell Mirror与其它镜像软件的根本区别
（1）        其它的镜像软件是基于卷或硬盘的数据复制。往往将硬盘的全体全部复制到备用服务器，无论这块硬盘有没有写满数据。PlusWell Mirror是以文件级的数据复制，数据库复制的大小由文件的大小决定而与硬盘的大小没有关系统。
（2）        当主备机发生切换时，或镜像发生中断后，主备机再次联结时还必须将硬盘的全体再复制一次到主服务器。从而增加了数据复制过程中的风险度。PlusWell Mirror在主备机发生切换时只将备机增加的数据复制回主机。
（3）        这种镜像限制了数据的复制大小，这种复制一般只能复制一到四个分区或一整块硬盘。限制了复制容量。对将来的数据扩容产生影响。PlusWell Mirror可以做到数据硬盘相对较大，同时可以灵活的改变数据复制的方式。
（4）        对复制的容量不易调整，往往一旦调整后需对HA软件重新进行配置。PlusWell Mirror可以从不同的硬盘，不同的分区，选择不同的文件夹进行复制，复制方法灵活