分类: 服务器与存储
2008-07-15 10:27:56
用户环境及备份需求分析
1、用户网络环境
兴业银行本次需做备份的设备三台IBM RS6000/AIX5.2服务器系统,其上都运行Informix Online9.3 for AIX数据库系统;采用SAN的结构,并用冗余链路连接到Brocade Communications DS - 16B2 16-端口光纤交换机上。数据量大于200G。在用户局域网上需要进行备份的还有前置服务器系统,其上运行SCO Unix和Informix 7.3 for SCO UNIX数据库;另外可能还有一台供办公使用的MS Windows2000服务器、Turbo Linux,其上数据也需要做备份
以上情况综合如下表 | ||||
设备 |
操作系统 |
应用软件 |
数量 |
数据量(含系统) |
服务器P670 |
AIX5.2 |
Informix9.3 |
1 |
约70G/台 |
服务器P680 |
AIX5.2 |
Informix9.3 |
2 |
约70G/台 |
前置机HP |
SCO UNIX |
Informix |
2 |
约18G |
服务器HP |
Windows 2000 |
(未知) |
2 |
约18G |
其他服务器 |
Turbo Linux |
(未知) |
2 |
约18G |
2、备份需求
·数据存储管理系统要能按需定制备份策略,实现存储备份智能化、自动化、高速化。
·能够实施各种高性能的备份和恢复,可以完成系统备份、Informix数据库备份及应用系统备份。
·要能够无缝嵌入整个主机系统及外部设备,具有最低的CPU消耗和高速备份性能,实现全面管理磁带库,循环使用备份介质。
·支持存储区域网络(SAN)和无网络(LAN-free)备份。
存储管理客户端软件支持SCO OpenServer 5.05,Turbolinux,Windows 2000,AIX;能将PC前置机的数据通过存储管理服务器备份到磁带库上。
3、需求分析
通过对客户环境的充分分析和了解,结合用户对建立存储系统的要求,我们认为,用户的数据备份系统应当具有的功能包括:
采用的技术成熟、先进,并具有较强的可扩充性
· 支持用户目前的所有异构环境
· 实现文件系统数据、操作系统数据、多种应用/数据库数据的备份
能够比较智能化的制定管理上的策略,并将这些策略非常容易地部署下去
· 对某些时间性较强的数据定期进行历史数据归档。
备份软件应保证在不停数据库和应用的前提下对数据进行备份和恢复,也就是应该保证应用和数据库7 x 24的使用性能
· 提供集中数据存储管理模式
全自动备份
· 对备份介质的有效管理
· 对备份数据的及时恢复
· 对多种存储环境的支持,如SAN、LAN、等
4、备份系统拓扑
方案设计考虑
根据以上的分析和客户需求,集中式存储管理系统的实施应遵循以下的原则:
安全性原则
必须在方案设计上保证系统的安全性和高可用性。在实施的过程中,能在线安装和部署,尽量对现有的生产系统的影响减至最低。同时,存储管理软件安全性能应在数据的传输,全寿命周期管理和应用存储系统管理员和操作员各个层次得到体现,满足用户的安全机制。
可管理性与系统高效原则
为保证数据存储的可管理性,减少管理的复杂性。采用先进的备份技术和先进的备份系统软件,采用统一的管理机制,保证大数据量的一致性备份和高速切换。必须提供高效的存储设备的管理能力和数据备份功能。
可扩展性原则
存储管理软件需采用先进技术,以利于整个系统的平滑升级。同时,必须考虑到今后存储环境的变化和灾难恢复系统建立的需要。
系统完整性原则
作为数据存储系统的组成部分,本系统的各项设计从整体考虑,协调各子系统构成完整的数据存储管理系统。
系统成熟性原则
存储管理软件必须稳定可靠,不能存在单点故障。
投资有效原则
系统方案应具有高性能价格比,具有较高实用性。
备份系统软、硬件选型
1、数据备份的原则
对数据进行备份是为了保证数据的安全性。不同的应用环境要求不同的解决方案来适应,一般来说,要满足以下基本原则:
稳定性
稳定性是最重要的方面,要求备份软件一定要与操作系统100%的兼容。
全面性
选用的备份软件,要支持各种操作系统、数据库和典型应用,包括开放或不开放系统应用。
自动化
备份方案应能够提供定时的自动备份,并利用磁带库等技术进行自动换带。在自动备份过程中,还要日志记录功能,并在出现异常情况时自动报警。
高性能
要求在设计备份时,尽量考虑到提高数据备份的速度,利用多个磁带机并行操作的方法。
完整性
要求在备份前后要对校验,并保证数据的一致性。
操作简单
备份软件需要一个直观的、图形化用户界面。
实时性
有些关键任务要求24小时不停机运行的,再备份的时候,有一些文件可能仍然处于打开状态。那么在进行备份的时候,要采取措施,进行在线备份,实时地查看文件大小、进行事务跟踪,以确保正确地备份系统中的文件。
容错性
数据备份在磁带上的,对磁带进行保护,并确认备份磁带中的数据可靠性,也是一个至关重要的方面。如磁带进行镜像,就可以更好地保证数据安全可靠。
2、备份系统的组成
执行备份的磁带库
磁带机的质量与性能在整个备份过程中是至关重要的,它是能否进行高质量备份的关键所在。并具备错误修正、读写检测、磁带监测等多种功能,以保证备份数据的万无一失。
存储备份数据的介质
存储设备类型:磁带。
控制备份的软件
优秀的备份软件包括快速在线备份、自动操作、灾难恢复等特殊功能,对于安全有效的数据备份是非常重要的。理想的备份软件与自动加载磁带机配合,可提供自动备份、字磁带轮换、自动诊断和数据统计功能。
网络以及SAN备份共存的方式
磁带库直接连接SAN交换机上,SAN环境中服务器直接将要备份的数据传送到磁带库上,LAN环境中服务器数据通过LAN上备份服务器再把要备份的数据传送到SAN的磁带库上。
备份策略
备份策略是按照用户的需求来确定的,取决于用户要备份的数据量、备份数据要保留多久、何时可以进行备份、能承受的备份窗口(时间)等。目前的备份策略都是基于多磁带轮换制,磁带数目和轮换频率按具体需求而定。
3、备份软件选型
在我们这次提供的备份解决方案中,我们利用IBM Tivoli Storage Manager和相关产品来实现用户提出的备份要求。
针对用户不同类型的主机、应用以及备份要求,我们使用了三种级别的备份方式,一种是基于文件级别的备份;第二种是基于数据库级别的备份;第三种是基于操作系统的备份;下面分别对这三种级别的备份方式加以介绍。
3.1文件级别的备份
考虑到用户IT环境中除了数据库服务器和应用服务器以外,基本上属于文件级别的服务器。
对于这些文件服务器,我们会直接使用IBM Tivoli Storage Manager来实现对这些文件服务器的备份和恢复的功能。
3.2数据库级别的备份
用户的IT环境中涉及到了Infomix数据库,为了确保这些数据库7 x 24小时的运行状态,我们提供了数据库的备份接口,以满足数据库的在线备份和恢复的功能。
我们会使用IBM Tivoli Storage Manager和IBM Tivoli Storage Manager for Databases来实现Informix数据库的在线备份和恢复的功能。
3.3操作系统级别的备份
考虑到用户IT环境中需要具有对于故障服务器恢复时,通过集中备份系统快速恢复操作系统,例如:AIX、SCO Unix、Windows服务器等。同时,可以通过集中备份,增量备份不同时间点的操作系统,以便按需恢复。
对于操作系统,我们会使用IBM Tivoli Storage Manager和IBM Tivoli Storage Manager for sysback来实现对操作系统的在线备份和快速恢复的功能。
4、备份硬件选型
4.1备份服务器
备份服务器我们选择IBM X345服务器。它具有高度系统可用性和扩展性、面向机柜优化、2U 2路服务器。同时集成双 10/100/1000 以太网,5个PCI-X/PCI: 2个64位/133MHz PCI-X,2个64位/100MHz PCI-X,1个32位/33MHz PCI。另外加配2块2104(LC接口)光纤卡。
4.2磁带库
磁带库选择IBM Total Storage Ultrium 3582。IBM TotalStorage Ultrium磁带库3582最多可支持2个IBM TotalStorage Ultrium 2磁带驱动器,每一驱动器的本地数据传输速率最高可达35MB/秒(压缩比为2:1时可达70MB/秒)。当使用新的IBM TotalStorage LTO Ultrium 200GB数据磁带盒时,它所提供的单盘盒式磁带容量最高可达200GB(压缩比为2:1时可达400GB)。
具体配置如下:
驱动器:两个二代光纤驱动器(LTO Ultrium Gen 2 Fibre Drive);
磁带:二代磁带20盒(20 Pack Ultrium 2 Data Cart);
其他:清洗带二盒(1-Ultrium Cleaning Cartridge)
5、备份软件选型
根据用户需求及应用,我们考查了多个生产开放备份软件的厂家,并综合本备份项目涉及的硬件软件平台,均为IBM的产品,建议采用IBM公司存储管理软件Tivoli ITSM。Tivoli ITSM是一个企业级的Client/Server结构跨平台网络备份、恢复及存储管理软件。ITSM Client主要功能是向ITSM Server提供需要集中备份的数据,或向ITSM Server索取已备份数据及归档数据以便Client恢复数据,目前支持多达39种平台,支持的存储设备也达250多种,基本覆盖了时下流行的多种平台和存储设备,覆盖范围从台式机到大型主机,可以满足兴业银行现有环境的存储管理的需求,也为今后的拓展提供了技术的储备。ITSM Server负责管理ITSM Client的备份数据、备份策略及统一管理连接在ITSM Server上的各类存储产品。
系统管理员通过WEB浏览器登录ITSM Server进行管理。他为不同的ITSM Client设置相应的备份策略,例如自动备份进行的时间,备份数据保留的长短等等。如下图:
系统管理人员还可通过Web界面帮助ITSM Client做数据备份和恢复。所以ITSM的管理员无论身在何处,使用何种机器,只要能够访问到ITSM服务器,就可以使用Internet浏览器管理和使用ITSM。配合内嵌在ITSM内部的免费的企业级管理功能(Enterprise Management),一名管理员可方便地管理企业内多台ITSM服务器,这尤其适合如兴业银行这样的单位。
在进行数据恢复时,ITSM给用户列出修正数据后的版本,文件修改时间,方便管理员查询备份数据。并提供了一个类似于IE的操作界面:
解决方案说明:
1、备份服务器
我们建议采用LAN和SAN环境作为备份环境的结构,IBM ITSM使用的是IP协议,因此IBM ITSM理论上可以安装在局域网的任何地方。但是考虑到备份性能的因素,我们建议将备份服务器安装在SAN环境内的Windows2000 PC Server上。一台Windows服务器作为IBM ITSM服务器。用于存储的磁带库通过光纤交换机和备份服务器相连。ITSM Server需要安装在该备份服务器上,负责发起SAN和LAN的数据备份操作。
2、备份客户机
备份客户机主要是AIX系统、SCO UNIX系统、WINDOWS2000,Turbo Linux完成系统数据和Informix数据库的备份。ITSM Client需要安装在所有需备份的服务器上,同时IBM ITSM采用的是Client/Server的结构。ITSM for Database需要安装在所有含Informix服务器上。对每一台需做系统备份的服务器需要安装ITSM for SysBackup,在SAN环境下的服务器上需要安装ITSM for SAN。
3、软件安装配置拓扑图
4.软件配置原理表
|
服务器 |
服务器 |
服务器 |
前置机HP |
前置机HP |
备份 |
CPU个数 |
2 |
2 |
2 |
1 |
1 |
1 |
ITSM主模块 |
2 |
2 |
2 |
1 |
1 |
1 |
SYSBAKUP |
2 |
2 |
2 |
1 |
1 |
1 |
SAN环境备份模块(D51MULL) |
2 |
2 |
2 |
0 |
0 |
1 |
数据库存储备份恢复模块 |
2 |
2 |
2 |
1 |
1 |
1 |
客户端模块 |
2 |
2 |
2 |
1 |
1 |
1 |
方案特点
1. 对现有的存储环境改动小,能最大限度的减少对现有应用系统的影响。
2. 能满足客户对海量数据的管理要求。
3. 可以制定统一的存储管理策略,并可以统一部署ITSM服务器上,实现统一的集中管理。
4. 可以实现高度自动化的集中式数据保护。
5. 高效的存储设备管理功能。
6. 高度的扩展性,保证未来系统发展的需求,并考虑到将来灾难恢复系统的建设。通过ITSM独有的SERVER TO SERVER功能,可以方便的将现有存储系统升级成灾难恢复系统,充分保护企业在系统管理的投资。
数据备份策略建议
1数据备份流程
日常备份操作由备份系统自动完成,操作人员按照要求在备份服务器上制定备份策略,全网的备份由备份服务器统一管理。各客户端也可以自行手工启动备份。备份服务器(包括主服务器和共享服务器)的数据(文件和数据库资料)直接进入磁带库,各客户端的资料由网络传到备份主服务器,进入带库,对于一些小文件,我们可以先将这些小文件备份到备份服务器的本地硬盘存储池中,待达到一定百分比时,在一次性迁移到带库中;而对于一些大文件,可以直接备份到带库中。这样可以大大提高数据的备份效率,提高存储设备的利用率。为提高备份质量、保证数据安全,可以采用ITSM软件的自动的副本存储池复制功能,同时进行备份复制,一份近线保管,另一份离线保管(所有管理均由备份软件完成)提高系统容灾能力。
2备份策略建议
对于福建兴业银行这样的一个关键应用来说,制定一个良好的备份策略是至关重要的。备份工作的主要内容包括主机、数据库系统备份和应用系统数据备份两个方面:
主机、数据库、应用软件系统备份策略
为了在主机、数据库、应用软件系统发生故障时,能够迅速、有效的使系统得到恢复,需要对主机、数据库、应用软件系统进行备份。由于主机、数据库、应用软件极少发生变动,所以它的备份策略也比较简单。1)、在主机、数据库、应用软件安装调试完毕后,将主机、数据库、应用软件系统的备份到磁带上。
2)、在对主机参数、数据库参数、应用软件进行修改后,及时将主机、数据库、应用软件系统备份到磁带上。
3)、定期对主机、数据库、应用软件系统进行全备份。这些全备份可以通过ITSM的定时自动完成。
应用软件系统数据备份策略
根据用户的业务特点,系统的数据备份要求较高,下面我们分别说明数据备份策略:
应用服务器Oracle数据库的备份
Informix在归档模式下运行,利用IBM Tivoli Storage Manager for Database模块调用RMAN进行在线的热备份,可以在备份时,对备份数据保存在不同的存储对象中,以满足客户容灾的要求,可以利用ITSM的多线程的数据迁移、利用多个磁带驱动器同时读写提高其数据备份的效率。
针对Informix的总数据量和增量数据量大小,我们可以利用Informix的多达三级的增量备份机制,结合ITSM强大的备份数据追踪寻址能力和介质管理功能,制定灵活的备份策略,实现全自动的备份数据的全生命周期管理。
根据客户的数据量和网络条件,我们建议:Informix的备份以周为备份周期,星期一到星期六做数据库累积增量、归档日志、控制文件和CATALOG用户所有对象的备份,星期天做全备份,保留前面一周期和当前周期的备份,每个周期有两份容余。而且由于该应用的Informix系统版本较新,也可以利用一些最新的Informix备份技术,将同样的一份备份数据同时保存在不同的存储介质中去,如磁带和硬盘,以保证备份数据的完整性和安全性。
对于Informix系统的数据备份和恢复的性能,可以通过开辟多个Informix数据备份通道和多重数据迁移的技术得到保障。
对于以上的备份文件文件,根据管理的要求设定其保存时间,当此类数据过期时,ITSM将自动进行清理,无须管理人员参与。备份时可以利用ITSM的永远增量备份的功能、多线程的数据迁移提高数据备份的效率,也可以利用ITSM独特的磁带分类集中存放技术保证数据存放的合理性,减少磁带的占用,提高数据恢复的效率。如果此类文件较小的话,可以利用ITSM独特的磁盘池的功能,先将这些小文件备份到备份服务器的本地硬盘存储池的ITSM临时存储池中,待达到一定百分比时,在一次性迁移到带库中。
对于文件系统和裸设备的备份,可以直接利用ITSM Client进行备份。备份通过ITSM的定时机制自动完成。
3数据恢复策略建议
当操作系统或应用出现问题时导致不可用时,需要通过ITSM进行数据的恢复,在本方案中,数据的恢复策略可以根据不同的情况而制定:
3.1本地Informix业务数据库破坏而需要恢复
出现此情况,可以通过本地的ITSM Server结合TSM for Databases利用备份数据进行数据恢复。恢复时,ITSM可以实现多线程的数据恢复,可以利用ITSM独特的磁带分类集中存放技术,减少磁带的就位时间,提高数据恢复的效率。
先用最近一次的全备份恢复+恢复最近一次的增量备份+增量备份到断点的ARCHIVE LOG来恢复(要求数据库在ARCHIVE LOG模式下工作)。这种恢复方式比全部用ARCIVE LOG恢复要快。
如果两份容余的最近一次增量备份都不可用,可以追溯再上次的增量备份来恢复,然后用增量备份到断点的ARCHIVE LOG恢复。
如果最近一次的全备份恢复都不可用上个周期的全备份+上个周期的最后一次增量备份+本周期的最近一次增量备份+增量备份到断点的ARCHIVE LOG来恢复。
如果增量备份都不可用,那么可以用全备份+ARCHIVE LOG来恢复。
3.2本地非数据库文件破坏而需要恢复时。
利用ITSM软件的图形界面来浏览所需恢复的文件存储集,触动恢复功能,软件靠自动驱动存储设备,加载相应的存储介质,然后恢复指定文件存储集。如下图所示:
也可利用命令:dsmc –r命令恢复相应的文件恢复时,ITSM可以实现多线程的数据恢复,可以利用ITSM独特的磁带分类集中存放技术,减少磁带的就位时间,提高数据恢复的效率。
3.3操作系统的恢复
AIX操作系统数据存放在根卷组(rootvg),而用户数据,包括数据库系统文件及数据、其他文件数据等存放在其他的卷组。那么,用户在进行日常数据备份时,可以通过ITSM将用户数据所在的卷组进行备份(包括全备份和增量备份);对于根卷组下的操作系统数据,可以使用AIX操作系统本身提供的命令mksysb来备份到磁带中。这样,在进行系统恢复时,如果只是涉及到某一个卷组、数据库或者是文件,操作系统并没有损坏,那么通过ITSM即可完成对系统的恢复;如果发生了系统严重故障,必须重建操作系统时,可以先使用通过mksysb备份出来的磁带来启动,恢复操作系统,再使用ITSM来恢复其他的卷组以及数据库、关键文件等数据。
对于Windows操作系统,可以利用系统引导盘快速启动操作系统,利用ITSM Client备份的操作系统的系统对象快速恢复操作系统。
也可以利用一台机器作为Image机器,生产主机的OS Image保存在该机器上,当生产主机操作系统出现问题时,可以利用简单的操作系统的命令,直接从网络恢复操作系统。
3.4本地ITSM服务器系统瘫痪而需要恢复时。
按以下步骤处理:
如果在配置ITSM Server中,已经将其后台数据库作了MIRROR配置,则只需将MIRROR的数据库文件直接激活即可。
如果对其后台数据库作了及时的本地备份,利用数据库的恢复功能恢复本地数据库,直接恢复ITSM Server。