Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1280090
  • 博文数量: 1211
  • 博客积分: 10010
  • 博客等级: 上将
  • 技术积分: 14340
  • 用 户 组: 普通用户
  • 注册时间: 2008-06-09 11:20
文章分类

全部博文(1211)

文章存档

2011年(1)

2008年(1210)

我的朋友

分类: 服务器与存储

2008-06-13 13:03:09

随着银行数据集中的深入开展,各种业务数据都进行集中处理。随着业务的不断拓展,我们可能需要对旧数据中心进行扩容,并进行新中心的建设。这时,我们就需要进行数据中心的搬迁工作。而实际上对于较大型的数据中心,经常要利用灾备技术来实现数据的迁移,同时利用原有的数据中心作为备份中心。

如何能保证数据中心迁移过程中数据不丢失?如何确保数据中心迁移过程中业务系统基本不停顿?这些都是我们银行要面对的问题。

本文将基于EMC SRDF技术,以中国建设银行厦门市分行数据中心新旧大楼搬迁和灾备系统实施为例,讨论数据中心数据迁移和搬迁的方案规划、设计和实施。

一、数据中心迁移背景

银行数据中心的共有特点是:业务集中、数据集中、海量数据容量(至少TB量级)、大业务量、业务连续性要求极高、关键业务数据可用性高。随着银行数据集中,旧数据中心由于容量、性能、运行环境等限制,已不能满足业务系统发展的需要,这时各银行就可能建立一个新的数据中心。由于业务24×7的连续性需求和客户数据的重要性,保证业务连续性是数据中心迁移的核心要求,迁移数据的高可靠性是数据中心迁移成败的关键。数据迁移过程中对业务的影响、迁移的数据完整性保证是迁移技术选型、方案设计的依据。

随着厦门建行各项业务系统的发展,原有的计算中心机房已经难以满足越来越多业务系统对中心运行环境的要求,系统的扩充性受到极大的限制。随着分行新营业大楼的使用和新大楼中新中心机房的建设完成,厦门建行需要将原有的数据中心将搬迁到新营业大楼中。

厦门建行原数据中心主机系统基本上是基于IBM RS/6000主机和EMC存储平台为基础的系统。厦门建行主要的银行业务系统包括对公、储蓄、银行卡等核心业务,还包括有代理业务和中间业务等。应用系统是以Tuxedo中间件和Informix、Db2等数据库系统来进行构建的,生产数据集中存放在一台EMC的Symmetrix 3830 磁盘机中,可用空间大约约600GB。

厦门建行在新数据中心选用一台EMC的Symmetrix 8530磁盘机作为主存储设备,同时还购买了SRDF、TIMEFINDER、PowerPath、ECC等软件和利用SRDF进行数据迁移的服务,这为使用SRDF进行数据迁移和系统搬迁提供了必要条件。从节约资金的角度,新数据中心的主机系统不再另行购置,全部从旧数据中心搬迁过来。
本文重点说明数据的迁移,设备的物理搬迁不详细说明。

二、SRDF技术概述

目前实现数据迁移和灾难备份的方法、技术很多,有SAN或NAS技术、远程镜像技术、基于IP的SAN的互连技术、快照技术等。其中,业界成熟的磁盘镜像技术对于保证业务连续性和数据迁移的高可靠性方面有着一定的优势,成为众多大型企业数据迁移、灾难备份的首选。EMC公司SRDF(Symmetrix Remote Data Facility)技术是磁盘镜像技术的一个杰出代表,在国内、国际上都有众多的成功案例。

EMC SRDF是迄今为止业界唯一能够同时为大型机、UNIX、Windows NT和AS/400等系统提供完整的业务持续性能力的解决方案。自从其1994年问世以来,EMC存储管理软件已经帮助许多公司管理计划内的数据中心事件(如按计划维护,每日数据备份,数据迁移和应用测试),同时它也负责从突发故障(如数据灾难)中恢复数据。SRDF是一个在线的并且独立于主机的数据镜像信息存储解决方案。它可以将生产现场的数据复制到一个或多个物理上分离的Symmetrix目标系统上。这些系统可以跨越大楼,远至世界各地。

SRDF软件具有如下特点:

1. 支持所有主流服务器,大机(Mainframe)和开放系统能同时使用SRDF;

2. 基于磁盘阵列自身功能,与操作系统、应用软件无关、对主机影响小;

3. 同时支持同步、半同步、异步等数据传输模式;

4. 通过网络系统的支持,SRDF镜像的距离可以到几千公里的距离;

5. 与Symmetrix微码、TimeFinder进行良好配合,实现生产数据的灵活应用,例如:利用BCV卷实现生产数据备份、隔日数据查询、数据仓库等应用;

6. 支持不同通信协议,包括ESCON、T1/E1、T3/E3、ATM、IP、DWDM,FC等;

7. 配置灵活、实施简单、操作方便;

一个典型的SRDF连接,如图一所示。 

 

图中显示了同步方式的SRDF一个写请求的完成过程。从图中可以看出,当本地(源)盘要写一个IO的时候,它首先会将IO发到远地(目标)盘上,待目标Symmetrix设备将数据写进Cache后,本地IO才认为是写成功了。这样,就充分保证本地存储和远地存储的一致性,但是对SRDF的连接的网络速率要求就比较高了。

三、需求分析

银行数据中心的迁移工作,与其他项目一样,首先都要从数据中心迁移的需求分析开始,充分理解迁移工作的目标、环境、性能指标等,才可能开始进行设计工作。本节以厦门建行数据中心迁移为例,说明数据中心搬迁的需求分析工作。

1. 总体目标:

厦门建行数据中心迁移的总体目标是:要将数据中心从旧大楼搬迁到新大楼,需要利用数据迁移技术将数据从旧的数据中心迁移到新的数据中心,同时建立新旧大楼之间的数据灾备系统,系统迁移过程中对业务系统的影响要达到最小。

2. 系统环境分析:

厦门建行数据中心由核心业务系统和大量的前置系统组成。其中,厦门建行数据中心的核心主机系统以IBM RS6000主机、EMC存储系统组成,数据库系统采用Informix IDS,应用系统是自行开发的。

厦门建行新旧数据中心物理距离大约6公里。目前在旧的数据中心有一套旧的存储系统。旧数据中心有多套的双机互备的主机系统,包括核心业务系统双机系统、信息系统双机系统、前置系统双机系统(包括多种前置应用系统)等,这些机器都通过SAN连接到核心存储上。而在新数据中心准备新购置一套新的存储系统,但在新的数据中心没有主机系统,只是用一台小配置的机器用于测试,新购置一台与旧中心一样的SAN Switch作为测试。系统情况如下图所示。

图二 原系统结构示意图


另外,数据中心还有大量的前置机大部分是独立的系统,涉及的操作系统包括:HP-UX、SCO Openserver、Linux、Windows NT、Windows 2000等;涉及的数据库包括:Informix、Lotus Notes、SQL Server等。这些系统大多是属于可以单独搬迁的系统,其设备的搬迁不与核心系统的搬迁同时进行。因此,这些设备和机器不再上图列出。

3. 业务数据分析:

因为灾备系统需要有一套存储系统,相应的主机系统,要有机房运行条件、网络系统等,因此建立灾备系统需要有较高的投入。所以,要在成本允许的情况下,进行综合考虑,尽可能将比较重要的业务放入灾备系统中。因此我们要将业务数据根据重要性进行划分,一般可以分为:核心业务、重要业务、一般业务。

(1) 核心业务要求24小时不间断运行,其重要性不言而喻。这些业务数据肯定要进入灾备系统,才能在数据中心迁移时以最短的中断时间实现迁移的目的,同时将来数据中心出现问题时,备份中心能保有最新的核心业务数据。比如上图中原系统中的核心业务系统,包括业务主机系统和信息系统。

(2) 重要业务中,要根据允许中断时间、业务重要程度进行划分,将重要程度很高、中断时间要求很短的业务,尽可能放到灾备系统中,将重要程度一般、中断时间可以时间比较长的业务系统考虑不放在灾备系统中。比如上图中连接到SAN环境中的“前置系统1”、“前置系统2”。

(3) 一般业务正常情况下都不进入灾备系统,在数据中心迁移时要进行较长时间的业务中断,中断时间就是一般业务的系统关机、物理搬迁、开机的时间。比如不在上图中示意的其他系统。

4. 迁移需求分析:

按厦门建行的需求,整个系统迁移只能在凌晨进行,而且系统迁移造成的业务中断时间不能超过2小时。也就是说,我们在系统迁移过程中,应用系统关闭、数据迁移、应用系统启动的整个过程占用的时间不能超过2小时。按此要求,我们在设计中要特别注意系统迁移的性能。

5. 性能需求分析:

厦门建行对SRDF性能的要求是系统响应时间不得超过原来的5%。这个需求是针对数据中心搬迁后,新旧数据中心的灾备系统而提出的。基于这个需求,需要对传输的数据量进行估算。

按厦门建行的应用情况,通过对多日的数据量的分析,发现在系统在正常运行中的IO量不大,SRDF完全能满足要求;但是,当应用系统数据库在做Checkpoint的时候,IO量急剧增大。假如每秒IO数据量10M,则SRDF性能要求也是 10*8=80 Mbps。

阅读(5642) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~