Chinaunix首页 | 论坛 | 博客
  • 博客访问: 11486608
  • 博文数量: 8065
  • 博客积分: 10002
  • 博客等级: 中将
  • 技术积分: 96708
  • 用 户 组: 普通用户
  • 注册时间: 2008-04-16 17:06
文章分类

全部博文(8065)

文章存档

2008年(8065)

分类: 服务器与存储

2008-12-29 14:32:00

随着湖北联通业务的发展及用户数量的增加,支撑系统越来越多,各种业务数据呈爆炸性急剧增长。仅营帐、CRM、专业计费、经营分析、代理商管理等各种大的系统就有40余套,各类数据文件、数据库归档日志数据加起来20T左右。拥有AIXSOLARISLINUX等多个操作平台及ORACLESYBASE等多套数据库。海量的数据、众多的系统,使得数据的安全性成为系统管理中的重点和难点。传统相互独立的人工备份方式,已不能满足系统备份和恢复工作的需要。为确保综合营帐、各专业计费等系统在出现故障时能迅速、及时恢复数据及业务,湖北分公司急需建立一套满足实际需求的综合备份系统。
 
传统备份架构及优缺点
 
目前社会上常用的备份架构主要有Host-BaseLAN-BaseLAN-FreeServer-Free等,各种备份架构的主要特点如下:
1Host-Based架构
Host-Based是传统的数据备份架构。这种结构中磁带库直接接在上,而且只为该服务器提供数据备份服务。在大多数情况下,这种备份是采用服务器上自带的磁带机,而备份操作往往也是通过手工操作的方式进行的。
Host-Based备份结构的优点是数据传输速度快,备份管理简单,特别是对于系统文件的恢复较快,不依赖于其它环境和网络;缺点是备份数据量有限,不利于备份系统的共享,不适合于现在大型的数据备份要求。
2LAN-Base架构
LAN-Based架构是基于网络的一种备份结构。备份时配置一台服务器作为备份服务器,由它负责整个系统的备份操作。磁带库则接在某台服务器上,在数据备份时,数据通过网络传输到磁带库中实现备份。
LAN-Based备份架构的优点是节省投资、磁带库共享、集中备份管理;它的缺点是备份和恢复依赖于网络环境,对网络传输压力也较大。
3LAN-Free架构
LAN-Free架构是指在备份时,为提高用户网络性能,而选择另外一条通路进行数据备份的结构。LAN-Free可以根据设备和网络结构的不同形式,以很多方式实现。通常,需要为每台服务器配备光纤通道适配器,适配器负责把这些服务器连接到相连的SAN上。同时,还需要为服务器配备特定的管理软件,通过它,系统能够把块格式的数据从服务器内存、经SAN传输到磁带库中。另外一种常用的LAN-free实施方式,是用主备份服务器上的管理软件启动其他服务器的数据备份操作,块格式的数据从磁盘阵列通过SAN传输到临时存储数据的备份服务器的内存中,之后再经SAN传输到磁带库中。
LAN-free的优点:
首先,在LAN-Free架构的备份中,LAN-Free的备份系统是建立在SAN(存储区域网)的基础上的,数据备份统一管理、备份速度快,由于备份数据的传输不经过LAN网络,网络传输速度大大提高,一般备份速度能提高2.510倍,网络传输速度不再是备份的瓶颈,磁带库资源共享。目前随着SAN技术的不断进步,基于LAN-Free结构的备份方式已经相当成熟。
LAN-free架构的不足的地方:首先,它仍旧让服务器参与了将备份数据从一个存储设备转移到另一个存储设备的过程,在一定程度上占用了CPU和服务器内存。还有一个问题是,LAN-free技术的恢复能力依赖于系统环境,如果系统盘出现故障,LAN-Free架构不能进行有效恢复。LAN-free的实施比较复杂,需要购买相应的软件及硬件设备。
4Server-Free结构
 LAN-Free备份需要占用备份主机的CPU资源,如果备份过程能够在SAN内部完成,而大量数据流无需流过服务器,则可以极大降低备份操作对生产系统的影响。SAN Server-Free备份就是这样的技术。它是LAN-free的一种延伸,可使数据能够在SAN结构中的两个存储设备之间直接传输,通常是在磁盘阵列和磁带库之间。
1Server-Free的优点:
Server-FreeLAN-free备份有着诸多相似的优点。如果是Server-Free备份,源设备、目的设备以及SAN设备是数据通道的主要部件。虽然服务器仍参与备份过程,但负担大大减轻,因为它不是主要的备份数据通道。
Server-Free备份技术具有缩短备份及恢复所用时间的优点。因为备份过程在专用高速存储网络上进行,而且决定吞吐量的是存储设备的速度,而不是服务器的处理能力,所以系统性能将大为提升。此外,如果采用无服务器备份技术,数据可以数据流的形式传输给多个磁带库或磁盘阵列。
2Server-Free缺点:
虽然服务器的负担大为减轻,但仍需要备份应用软件(以及其主机服务器)来控制备份过程,还是需要占用一定的CPU资源。而且,Server-Free备份可能难度更大大、成本更高(需要购买相应的软件、硬件)、管理也最复杂。该种方式还在不断完善过程中。
备份介质比较
传统的备份介质是磁带,但磁带备份也有一些缺点,它的备份功能比恢复功能强,恢复能力较弱。由于磁带机的传输速度增加,因此备份时要特别小心调整写入磁带的数据流,以避免磁带在开始、进行中及定位时产生摩擦(shoe shine)”效应。一般磁带备份都支持多任务处理,以提升备份的速度,但是多任务却会降低恢复的速度,因为恢复时,系统需要多花时间读取属于自己任务的那个备份映像,忽略其的备份数据。磁带备份还有一个问题,它的备份质量并不稳定。在操作过程中,有可能数据已经全部备份成功,但是,却很难验证磁带内所有数据是否都可以恢复。
另外一种常用的备份介质是磁盘。与磁带相比,磁盘具有许多优点。 首先,和磁带机不同的是,磁盘不需要稳定的数据流。即使采用只存储少量数据的增量备份,也没有摩擦效应。第二,磁盘允许系统管理员进行全部数据备份工作(Full Backup),而不用忍受执行速度变慢的后果或增加恢复资料时损坏的风险,可以简化及加快整体备份的速度。另外,磁盘在恢复数据方面非常优秀,无论是在可靠性还是在执行速度上。以磁盘驱动器接口规格为主的磁盘阵列,让磁盘成为比磁带更可靠的介质。质量不良的磁带会让整个恢复操作失败,而有了磁盘阵列保护功能,即使磁盘损坏,也可以继续并成功地将数据恢复。尽管磁盘有上述这些优点,但与磁带比较起来,磁盘主要缺点就是,磁盘的价格要高于磁带
VTL是虚拟磁带库的简称(Virtual Tape Library)。VTL是近年来兴起的众多磁盘备份(Backup to Disk)解决方案中,最受瞩目的一项。VTL既具有磁盘的优点,又具有磁带的特性。它能够模拟标准磁带库,让现有的备份数据能够使用磁盘而不是磁带来做数据备份的介质。通过使用磁盘,用户能够得到更大的数据吞吐性能、更高的可靠性、数据保护能力和快速恢复能力,减少机械和人为操作导致的错误,而且不必改变已有的备份策略和操作过程。大部分VTL还具有硬件压缩功能,通过硬件压缩数据,在不影响数据备份速度性能的情况下,将同一硬盘架的存储容量增加23倍,因而节省50-67% 的磁盘成本。VTL一般还具有重复数据删除功能,在做数据备份时,此项功能可增加存储10倍以上的空间。但由于重复数据删除时,一般采用一些特定的算法分析是否为重复数据,因此理论上存在误删的可能。
其它常用的介质,还有光盘、软盘等,但综合考虑成本、管理及技术成熟度等因素,在大量的数据备份时使用较少。
湖北联通数据综合备份解决方案
数据备份不仅是对数据进行保护,更重要的是在系统遇到人为或自然灾难时,能够通过备份对系统进行有效的灾难恢复。在设计备份方案和备份策略时,首先考虑恢复点目标(RPO)和恢复时间目标(RTO),恢复点目标是指数据和系统必须恢复的时间。恢复时间目标是指灾难发生后恢复业务所需的最长时间。湖北联通核心系统业务数据量如下:
计费系统数据库容量为7,714GB
营业帐务系统数据库容量为4700GB
CRM系统容量为4,149GB
历史话单查询存储容量为1,189GB
综合采集存储文件 1,104GB
计费系统文件容量为1,124GB
程序、逻辑备份、文件预计300GB/天。
数据库日归档文件500GB/
各系统恢复时间目标(RTO)如下:
计费系统48小时恢复
营业帐务系统24小时恢复
CRM系统24小时
采集、详细单查询等48小时恢复
可以看出,湖北联通系统备份面临的主要问题有:数据量大,且核心系统恢复时间(RTO)短;系统较复杂,既有各种类型的操作系统、数据库文件,也有各种数据文件、数据库归档文件。传统的备份方式很难满足系统备份恢复的需要。必须根据湖北联通现状,结合现有的各种备份技术,设计出既能满足符合RPORTO要求,又能兼顾投资成本的备份系统。湖北联通设计的集中备份方案,采用了VeritasNetBackup备份软件,系统架构LAN-Free为主, Host-BasedLAN-Base为辅,实现分层存储,核心系统数据备份到VTL,非核心数据备份到带库。方案拓扑结构如下:
在该方案中,湖北联通将重要的系统升级为LAN-Free架构,一台服务器上安装NetBackup Master Serve系统管理软件作为主服务器,重要系统的数据以LAN-Free的架构通过SAN交换机直接备份到VTL或磁带库STK L700e。具体方案如下:
1.备份软件
根据湖北联通现状,对备份软件有以下基本要求:备份管理软件能够实现定时自动备份、备份到磁带库和VTL系统、能实现全备份和增量备份等多种备份方式,每天能够进行TB级的数据备份,能够管理几十或上百TB的备份数据,具备高性能的介质信息管理数据库和适应各种主流数据库,支持磁带容灾能力,具备集中备份管理能力等。根据湖北联通多平台多数据库现状、备份软件配置及管理要求,湖北联通选用了在备份管理软件市场占领先地位的Veritas 公司的NetBackup 备份软件。VERITAS NetBackup集高速和高级介质管理于一体,其独有的四层体系结构,可以满足大型数据备份的需求:第一层的NetBackup主服务器(Master Server)用于进行规划和跟踪客户机备份;第二层的介质服务器(Media Server)提供大型应用的本地备份。介质服务器可以与主服务器或另一个介质服务器共享磁带库,或者使用自己的磁带设备库;第三层为客户端(Client),主要对服务器和工作站进行备份。第四层Global Data Manager可对企业内部的所有NetBackup存储域进行集中的管理与控制。 
湖北联通在部署综合备份方案时,先安装了一台IBM小型机作Master Server,核心重要的营帐服务器作为Media Server,其它需要备份的服务器上安装相应的agent,制定统一的备份策略,通过Netbackup Master Server,对湖北联通支撑系统的数据库和应用系统的备份工作进行集中的管理、监控。
2.数据备份架构
湖北联通建设集中的备份系统,必须具有统一的备份软件及带库。因此大部分系统具备LAN-Base的备份条件。对于大部分普通的业务数据,RTO时间在48小时以上的系统,湖北联通采用LAN-Base架构的备份方案。
对于部分数据量较大的核心业务系统,如果采用LAN-Base的备份方案,不仅系统备份及恢复的时间较长,而且由于系统备份时大量占用网络资源,会严重影响业务系统的性能。对于这部分业务系统,湖北联通组建了SAN的存储网络。对于数据量较大的重要核心系统,湖北联通采用了LAN-Free的备份方式。
由于LAN-BaseLAN-Free的备份方式都依赖于系统环境,特别是系统网络环境,在系统遇到重大故障或灾难时,基于LAN-BaseLAN-Free方式备份的数据就难于恢复。对于操作系统的备份,湖北联通仍采用了传统的Host-Based的备份方式。由于只对操作系统进行Host-Based的备份方式,数据量都不大,且由于系统一般变化较小,一般一季度进行一次即可。系统一旦出现故障,先用传统的Host-Based方式恢复系统,再通过LAN-BaseLAN-Free方式恢复业务员数据。
3.带库
根据湖北联通业务数据量、数据备份恢复时间要求,湖北联通选用了业界占领先地位的StorageTek公司的L700e 磁带库,配8LTO2磁带机。与其他带库相比,STK L700e特点:
1)机械手设计性能卓越
StorageTek所有高端带库产品具备先进的循环式机械手,较之普通带库的直线型机械手更快、更有效率。配以StorageTek独有的摄像可视系统更准确无误地完成带的操作。StorageTek带库机械手性能优异,L700带库EPHExchange per Hour)高达450
2)自动对齐
带库的对齐方式直接影响带的定位准确,StorageTek的带库具有14~36个点的自动对齐方式(其他产品只有1个点);每个带机另有一个对齐点;条码系统在初始化时完成对齐。先进的自动对齐方式保证了StorageTek带库避免因对齐失败造成的无谓的报警和操作错误。
3)容易扩展
低插槽配置很容易升级到高配置。
4)通道接口
提供标准的SCSI接口:Single-EndDifferential,在各种型号亦支持FC接口。
5)带的存取口
各种带库配置不同容量的磁带存取口CAPCartridge Access Port),可方便快捷地存取磁带,以免经常打开带库存取磁带。
6)清洗和诊断
可安装清洗和诊断带,通过设置可自动完成清洗和诊断。
7)在线性能
当磁带机出现故障时,可在其它磁带机工作期间进行拆卸和维修,而不影响系统的备份工作,如机械手发生故障,可以用人工方式进行存取磁带及上、下带的操作。适应在线应用的需求。
4.分层存储
在前面比较备份介质时,我们可以看到,磁带价格低廉,备份速度快,但存在恢复速度慢,不易验证的缺点。磁盘备份读写速度快,但价格较高。VTL也是一种磁盘,但具有硬件压缩功能及磁带管理功能。通过分析RPORTO,以营帐系统为例,4.7T的数据若需要在24小时内恢复,按照最会的恢复方案,数据库采用归档备份,一般情况下,至少需要在12小时内RESTORE数据,剩下的时间RECOVER数据库,恢复业务。按照这个时间要求,带库恢复速度至少要达到4700*1024/12/60/60=111m/s。但目前采用LAN-Free进行数据恢复的最快速度为60m/s。因此,完全采用带库并不能在规定的时间恢复系统。综合考虑系统恢复时间(RTO)及备份系统成本,湖北联通采用了分层存储的方案。核心数据存放在DMX2000EMC Symetrix 8530,核心备份数据存放在VTL上,其余备份数据存放在STK L700e的带库上。即Veritas NetBackupMaster Serve的控制管理下,核心的营帐系统、CRM系统数据以LAN-Free的方式通过SAN交换机直接备份到VTL,专业计费等重要系统的数据以LAN-Free的方式通过SAN交换机直接备份到磁带库STK L700e。在VTL的选型上,经过分析比较,湖北分公司最终选用了HDSVTL。通过以上的分层存储,湖北联通核心业务系统恢复时间均可满足RTO要求。
湖北联通数据综合备份方案的特点
1)实现了全省业务制成系统的集中备份管理
通过Veritas NetbackupSTK L700e实现全省的集中备份管理。
2完全满足RPORTO的要求
真正实现了4.7T左右的数据库及应用在出现重要灾难的情况下24小时恢复业务。
3)实现分存储
综合RPORTO、数据量、系统的重要程度等各种因素,湖北分公司将核心生产数据分别存放在高端存储DMX2000Symetrix 8530上,备份数据分别存放到VTL及磁带库上,便于快速备份和恢复。
4结合了各种数据备份方案技术
采用了Host-BasedLAN-BasedLAN-free多种备份架构;
利用Veritas Netbackup软件实现业务系统到STK L700eVTL的备份。
5)具有较高的性价比
由于采用了分层存储及各种备份技术,既满足了备份、恢复的需要,又控制了成本。
阅读(1060) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~