湖北联通综合营账容灾备份系统概述

湖北联通综合营账容灾备份系统概述

来源：计费&OSS世界  作者：张桂红 黄显信    时间：2006年09月05日

系统建设背景

湖北联通在2000开始建设全省集中的综合营账系统，较好地支撑了公司各项业务的高速发展。但是全省集中的综合营账系统，必然对综合营账系统的业务功能、业务连续性、系统安全性都提出了更高的要求。由于各种数据高度集中，“鸡蛋”全放在一个篮子里了，一旦出现意外事件，如停电、意外死机、火灾、地震或者人为破坏等，造成数据丢失就难以避免。为了减少各种未可预知的灾难带来的损失，建设综合营账容灾备份系统就成了湖北联通必然的选择。

湖北联通容灾备份系统概况

湖北联通容灾备份系统于2005年8月开始建设，同年11月份建成投入使用。根据投入成本和综合营账系统实际情况，一期工程主要建成综合营账系统数据级容灾备份中心。容灾备份中心建在武汉分公司机房。系统建成后，综合营账系统在主中心主要设备有3台IBMP690数据库服务器，分别做营业、账务、入库系统数据库服务器，配置分别为：16CPU/32G内存、24CPU/64G内存、16CPU/32G内存；EMC DMX2000存储一个；MQ营业、账务MQ通信服务器一台；应用服务器若干；银行接口、充值、联机指令、客服等接口机若干；STK 7100磁带库1台；CISCO7507路由器2台（地市接入）、CISCO 6506交换机2台（主中心网关、DMZ区接入）、CISCO 4507交换机2台（核心设备接入）、防火墙若干，核心网络设备HSRP热备。容灾备份中心主要设备有：IBM P690数据库服务器一台，主要用作营业、账务、入库数据库服务器，配置为16CPU、32G内存；DMX2000存储一套，2台4507交换机，两台7206路由器等。湖北联通综合营账容灾备份系统网络拓扑结构如图1所示。 

图1  综合营账容灾备份系统网络拓扑图

容灾备份系统实现方案

1．远程数据复制方案

根据营账系统目前的资源现状及对现有容灾技术方案的了解和比较，湖北联通选用了基于EMC智能存储系统的数据复制软件SRDF（Symmetrix Remote Data Facility），建设湖北联通的一期容灾项目。

SRDF实现远程数据复制的方式如下：SRDF拥有两套磁盘子系统，我们分别称之为R1和R2，存放实时数据拷贝的R2子系统被安置在灾备机房，这样就确保了在主中心发生故障时，R2系统仍然是可用的，而且与R1是同步的。由于使用了不同的子系统，所以可对R1和R2分别进行寻址。第二个数据拷贝（R2）可以按照只读模式供附加在第二个子系统上的第二个处理器使用。总的来说，SRDF基本上就是存储控制器上的RAID-1实现，只不过这时磁盘子系统被分为本地(R1)和远程（R2）两个部分，任何写入R1的数据都会同时被自动复制到R2之上。

SRDF具有以下优点：

（1）对生产系统性能消耗非常小。

使用SRDF复制方案，主中心和灾备中心两套DMX2000磁盘阵列之间数据一致性依靠磁盘阵列本身的SRDF来完成，完全不依赖主机系统，因此现有综合营账系统主机性能几乎不受影响。

（2）可以保证数据的实时性和完整性。

（3）对应用、主机、数据库等存储系统之上的层面几乎不需做任何改动。

（4）目前业内采用最多的容灾方案。

（5）系统可用性强，系统切换简单，减低了维护和操作风险。

尽管SRDF的镜像功能没有使用任何主机资源，但在实施时，我们在灾备中心的IBM P690上安装相应的系统管理软件，通过该主机可以实现以下功能：

（1）查询SRDF关系状态（驱动器、链路）

（2）查询每对驱动器的同步状态

（3）修改每对逻辑驱动器的重新同步选项(同步、半同步、自适应拷贝、无效磁道等)

（4）针对每对驱动器或整个SRDF子系统的镜像处理发布“暂停”和“恢复”命令。

湖北联通容灾备份的SRDF包括：2套EMC DMX2000系统；主中心和灾备中心各一对Brocade 交换机；每个DMX2000的SRDF微码许可证；主中心和灾备中心间的4对裸光纤链路；控制进程及其处理。

当物理连接建立起来，我们确定了主中心哪些逻辑设备需要远程镜像之后，就可以开始启动指定设备的同步处理，同时R1设备数据向R2设备进行拷贝。在初始同步过程中，可将应用I/O指定给R1单元，表示该应用I/O在数据同步过程中要优先处理。最后所有设备都进入同步状态(也称为稳定状态)，连接链路就只需传送有变化的数据了。

由于RPO要求为0，即容灾点的业务状态和生产点必须保持足够一致，湖北联通选用了同步的SRDF运行模式，同步模式保证了主中心和灾备中心数据的一致性。向远程镜像磁盘卷中写入数据时，湖北联通灾备系统同步模式下的数据处理过程如下：

（1）数据被写到本地DMX2000的缓存中；

（2）将一个输入项置于SRDF更新数据的FIFO队列中；

（3）第一个可用的RLA从队列中提取第一个输入项，并通过链路将其送到远程DMX2000的缓存；

（4）远程DMX2000发送数据接收确认信号；

（5）修改磁道表；

（6）向发出请求的主机发回设备结束信号。

在同步模式下，如果某个盘卷已经启动了写操作，则所有该盘卷以后的读写访问都将被放到队列中等待，直到该写操作被远程确认。执行同步的命令为：将R1的数据同步至R2 symrdf-g dgname est

2．灾备系统本地数据的复制

为充分利用灾备中心的系统资源，我们利用EMC的另一个软件TimeFinder对数据生成业务持续性卷（BCV），再将BCV数据开放给灾备中心的IBM P690主机，以便其他系统使用。在实际使用时，每天晚上在灾备中心的IBM P690上运行symmir –g dgname est命令，同步灾备中心R1和BCV卷的数据，再运行symmir –g dgname split命令进行卷的拆分，以上操作完成后，varyon vgname，将本地所有卷组挂起，mount filesystem启动数据库及监听端口，则灾备中心中心可以提供一个营业、账务数据库环境给其他的应用使用，不过数据是截止到运行split命令那个时段的数据。

3．灾备中心网络结构

(1)SAN网络连接

湖北联通灾备中心位置在武汉分公司办公大楼内，相距位置5km左右，因此湖北联通主中心和灾备中心之间采用了裸光纤直连的方式，使用裸光纤的优点是实施迅速，不需要数据帧的转换，数据传输速度达2Gps（与本地SAN网络速度一样），延迟小，可以做数据同步复制。湖北联通综合营账系统主中心和灾备中心SAN网络连接情况为如下。

主中心：3台IBM P690连接两台brocade 交换机，两台brocade 交换机连接DMX2000。

容灾中心：一台IBM P690连接两台brocade 交换机，两台brocade交换机连接DMX2000，主中心的两台brocade交换机与容灾备份中心的两台brocade交换机通过四对单模光纤连接，端口速率2G/s。

(2)主中心和灾备中心广域网结构

主中心：市州分公司通过WAN的主备两条2M E1链路与主中心cisco 7507相连，再访问综合营账系统。省分和市州分公司也可以通过MPLS VPN进行访问综合营账系统。在2M 主备链路或网络设备出现故障后，通过修改省市分公司网络配置，市州分公司可以通过ATM网络上的MPLS VPN访问综合营账系统。

灾备中心：主中心和灾备中心之间通过2对光纤将省分的CISCO 6506交换机和灾备中心的CSICO 4507交换机相连。平时市州分公司营业前台可通过2M E1通过主中心访问灾备中心，一旦2MM主备链路或网络设备出现故障，也可通过手工修改网络配置，通过MPLS VPN访问灾备系统。

4．主中心和灾备中心数据保护方案

主中心综合营账系统存储采用RAID-0+RAID-1及hotspare热备盘的数据保护方式，容灾备份中心存储采用RAID-5及hotspare盘的数据保护方案，灾备中心对营业、账务系统做BCV，晚上进行同步，后分离，供查询或测试使用。实际上灾备中心的存储也可当成中中心存储的镜像，一旦主中心的物理盘出现故障，数据会自动写到灾备中心的R2物理盘上。

湖北联通灾备系统特点

湖北联通灾备系统是在总结了其他分公司的灾备系统的基础上，集合湖北分公司系统资源的实际情况，除具备一般灾备系统的特色外，进行了一些创新和探索，具有以下特点.

1．主中心和灾备中心存储采用不同的数据保护方案

湖北联通综合营账存储采用的是RAID-0+RAID-1另加hotspare盘的数据保护方案，在灾备项目启动时，根据厂家建议和从其他分公司灾备系统的实施方案来看，灾备系统存储也均采用了和主中心存储相同的数据保护方案。根据对存储系统cache及命中率的分析，湖北分公司决定采用RAID-5的数据保护方式，在测试过程中，证明了RAID-5数据保护方案对存储系统、现有营账系统性能和安全的影响可以忽略，在不降低系统性能和安全的前提下，湖北分公司采用了RAID-5方案，使得仅综合营账灾备系统的存储就节约了约2T空间。

2．综合营账系统具有高可用性

灾备系统建成后，湖北分公司综合营账具备了较高的可用性。由于主中心和灾备中心对数据采用了不同的保护方案，主机也具有备用方案，网络有应急方案，使得出现各种故障、甚至灾难时，综合营账系统的数据及应用能在最短的时间内恢复，出现各种故障综合营账系统的应急方案如下：

......

全文请参阅《计费&OSS世界》

（作者单位：武汉交通职业学院，湖北联通信息化部）