2008年(8065)
分类: 服务器与存储
2008-09-03 19:01:11
国家基础地理信息中心自成立以来,成果数据与日俱增,数据备份工作日益重要,实现海量数据的全自动化备份已是当务之急。备份数据的特征呈现为:
整体数据量大。在未来的三年内,随着遥感地面影像数据库的完成,成果数据量约有20TB。
数据特征不一。主要的数据成果,如1:100万和1:25万基本比例尺地形数据库,每100GB数据,约含600万个文件,而单个文件尺寸最小者仅仅为几个BYTE,最大者不过20KB;而遥感影像数据库数据量巨大,一般情况下,单个文件尺寸较大,约为N*10MB(N为1-10间的整数)。这两种特征截然不同的数据,对软件选取、备份方式与策略的要求常常是冲突的。
中间过程数据量大。基础地理信息系统数据库建库过程中,中间过程数据量约是成果数据量的2-3倍。重要的阶段性的中间过程数据需要备份。
突发事件较多,数据呈波浪状分布。根据以往的经验,一个中大型项目的实施,常常导致备份数据量的突然增加,甚至增加值较大。如1:5万DRG项目进行过程中,日备份数据量增加6GB。这要求备份系统具有一定的余量。
实验表明,如果将现有的245GB进行一次全备份,至少耗时2周,需要21盘容量为12GB的DDS-3 4MM磁带,需要2位工作人员每天满负荷工作。这种模式显然不满足工作要求,因为:
全备份必须保证2套以上,才能享有较高的数据安全性和完整性。然而2套全备份至少耗时4周。
信息中心的生产是一个动态过程,成果数据也不是一成不变的。2周或4周全备份时间段内,数据往往发生了变化。则数据备份的时效性降低。
所有的备份操作均基于单机,没有构筑起有效的网络备份的环境。目前由于备份工作的需要,频繁移动和拔插磁带机的情况也是存在的,这显然是不方便和不安全的。
由于实行单机备份机制,难以集中和统一管理,数据备份工作存在一定程度的随意性,这是数据安全和完整性的大敌。
因此,当前首要的工作是保障Sun和NT的全自动备份,其次是Client端(如Sun和SGI工作站)的自动化备份。
解决方案
通过分析,依据备份数据量和性质(如最终成果数据和中间过程数据)的不同,国家基础地理信息中心决定将备份节点分为主节点、一级节点和二级节点三类。主节点主要进行成果数据的备份,基本不进行中间过程数据的备份操作;一级节点主要进行本部门和项目重要的中间过程数据的备份,同时也进行部分成果数据的备份(如空间定位部);二级节点主要备份项目重要的中间过程数据,一般不允许进行成果数据的备份操作。所以,除二级节点可通过LAN进行备份外,其余不得占用LAN资源进行备份操作,而需要利用SAN(存储区域网)技术来实现相关操作。
StorageTek公司向客户推荐了LANfree Backup备份模型,采用SAN技术进行系统集成,保证其系统的先进性和完整性。也就是说,的数据备份采用LANfree方式的SAN备份解决方案,避免由于备份时数据量巨大导致LAN崩溃的危险,而Client端由于数据量较小则可通过LAN进行备份。方案包括L700磁带库、混装StorageTek公司的9840磁带机和DLT7000磁带机、9176磁盘阵列,并采用VERITAS NetBackup软件作为备份工具。
在传统的网络备份应用领域,随着用户数据量的不断扩大,网络带宽成为网络备份的瓶颈,用户只能不断升级网络带宽或增加备份磁带机数来解决问题。即使如此,备份时用户的在线应用仍要受到巨大影响。如果将客户的245GB数据在信息中心以太网上备份,其所产生的结果将使LAN效率大幅下降甚至崩溃。
LANfree的SAN备份模型以光纤通道交换机或通道集线器为核心,通过光纤通道与文件、应用服务器、工作站、磁盘阵列和磁带库连接。本模型对前端网络LAN的占用非常少,只利用其传输基本的备份控制信息(通常仅仅为几十个字节,几乎可以忽略),而大规模的数据传输则不再经由LAN,而是通过背端SAN直接写入磁带库。
商务益处
系统经运行经测试表明,StorageTek的LanFree备份方案解决了以前客户在备份存储方面的关键问题,能够满足现在和未来一端时间内大数据量高性能备份的要求。其优点是:
* 动态分配资源、易管理和维护。在多个服务器之间共享磁带库/磁带机,并行处理-多磁带机并行操作,有效地增加带宽缓解LAN传输压力、备份效率高。每一个节点均可获得100MBps带宽(对fabric 拓扑) ?
可扩展的结构。多级备份服务器配置,适应多种应用。
设置灵活。全部图形化的用户界面,使用简便?/LI> ?
确保灾难恢复。自动建立主要备份的拷贝;标准的UNIX tar格式确保数据的可靠性。
完整的UNIX和WINDOWS NT异构环境支持。
系统的升级
以传统的方式存储和管理日益增长的数据,意味着不断地增加磁盘,投入更多的人力与物力,导致成本上升。尤其是在备份过程之中,系统会不断地被中断。随着国家基础地理信息中心在线数据量的增加,StorageTek为客户推荐了ASM存储管理软件,一种“基于策略的数据管理”方式。ASM自动对数据进行分级存储而无需添加更多磁盘,根据客户自定的存储策略,自动并透明地将数据在适当的时间从磁盘迁移到磁带库上,在需要时则可快速检索文件。不仅节省了资金,还可释放已被复制的数据所占用的空间,优化磁盘容量。
ASM使适当的数据存储在适当的介质上,从而确保用户享受到无缝的在线速度。此外,无需在磁盘上复制数据,即可做到不间断地备份,确保数据的高可用。ASM为客户实现了适当的数据、在适当的时间、以适当的费用、存储在适当的设备上。