Chinaunix首页 | 论坛 | 博客
  • 博客访问: 11288052
  • 博文数量: 8065
  • 博客积分: 10002
  • 博客等级: 中将
  • 技术积分: 96708
  • 用 户 组: 普通用户
  • 注册时间: 2008-04-16 17:06
文章分类

全部博文(8065)

文章存档

2008年(8065)

分类: 服务器与存储

2008-05-29 15:26:38

系统建设背景

  国家基础地理信息中心自成立以来,成果数据与日俱增,数据备份工作日益重要,实现海量数据的全自动化备份已是当务之急。备份数据的特征呈现为:

  整体数据量大。在未来的三年内,随着遥感地面影像数据库的完成,成果数据量约有20TB。

  数据特征不一。主要的数据成果,如1:100万和1:25万基本比例尺地形数据库,每100GB数据,约含600万个文件,而单个文件尺寸最小者仅仅为几个BYTE,最大者不过20KB;而遥感影像数据库数据量巨大,一般情况下,单个文件尺寸较大,约为N*10MB(N为1-10间的整数)。这两种特征截然不同的数据,对软件选取、备份方式与策略的要求常常是冲突的。

  中间过程数据量大。基础地理信息系统数据库建库过程中,中间过程数据量约是成果数据量的2-3倍。重要的阶段性的中间过程数据需要备份。

  突发事件较多,数据呈波浪状分布。根据以往的经验,一个中大型项目的实施,常常导致备份数据量的突然增加,甚至增加值较大。如1:5万DRG项目进行过程中,日备份数据量增加6GB。这要求备份系统具有一定的余量。

  实验表明,如果将现有的245GB进行一次全备份,至少耗时2周,需要21盘容量为12GB的DDS-3 4MM磁带,需要2位工作人员每天满负荷工作。这种模式显然不满足工作要求,因为:

  全备份必须保证2套以上,才能享有较高的数据安全性和完整性。然而2套全备份至少耗时4周。

  信息中心的生产是一个动态过程,成果数据也不是一成不变的。2周或4周全备份时间段内,数据往往发生了变化。则数据备份的时效性降低。

  所有的备份操作均基于单机,没有构筑起有效的网络备份的环境。目前由于备份工作的需要,频繁移动和拔插磁带机的情况也是存在的,这显然是不方便和不安全的。

  由于实行单机备份机制,难以集中和统一管理,数据备份工作存在一定程度的随意性,这是数据安全和完整性的大敌。

  因此,当前首要的工作是保障Sun和NT服务器的全自动备份,其次是Client端(如Sun和SGI工作站)的自动化备份。


  解决方案

  通过分析,依据备份数据量和性质(如最终成果数据和中间过程数据)的不同,国家基础地理信息中心决定将备份节点分为主节点、一级节点和二级节点三类。主节点主要进行成果数据的备份,基本不进行中间过程数据的备份操作;一级节点主要进行本部门和项目重要的中间过程数据的备份,同时也进行部分成果数据的备份(如空间定位部);二级节点主要备份项目重要的中间过程数据,一般不允许进行成果数据的备份操作。所以,除二级节点可通过LAN进行备份外,其余不得占用LAN资源进行备份操作,而需要利用SAN(存储区域网)技术来实现相关操作。

  StorageTek公司向客户推荐了LANfree Backup备份模型,采用SAN技术进行系统集成,保证其系统的先进性和完整性。也就是说,服务器的数据备份采用LANfree方式的SAN备份解决方案,避免由于备份时数据量巨大导致LAN崩溃的危险,而Client端由于数据量较小则可通过LAN进行备份。方案包括L700磁带库、混装StorageTek公司的9840磁带机和DLT7000磁带机、9176磁盘阵列,并采用VERITAS NetBackup软件作为备份工具。

  在传统的网络备份应用领域,随着用户数据量的不断扩大,网络带宽成为网络备份的瓶颈,用户只能不断升级网络带宽或增加备份磁带机数来解决问题。即使如此,备份时用户的在线应用仍要受到巨大影响。如果将客户的245GB数据在信息中心以太网上备份,其所产生的结果将使LAN效率大幅下降甚至崩溃。

  LANfree的SAN备份模型以光纤通道交换机或通道集线器为核心,通过光纤通道与文件服务器、应用服务器、工作站、磁盘阵列和磁带库连接。本模型对前端网络LAN的占用非常少,只利用其传输基本的备份控制信息(通常仅仅为几十个字节,几乎可以忽略),而大规模的数据传输则不再经由LAN,而是通过背端SAN直接写入磁带库。


  商务益处

  系统经运行经测试表明,StorageTek的LanFree备份方案解决了以前客户在备份存储方面的关键问题,能够满足现在和未来一端时间内大数据量高性能备份的要求。其优点是:

  * 动态分配资源、易管理和维护。在多个服务器之间共享磁带库/磁带机,并行处理-多磁带机并行操作,有效地增加带宽缓解LAN传输压力、备份效率高。每一个节点均可获得100MBps带宽(对fabric 拓扑) ?

  可扩展的结构。多级备份服务器配置,适应多种应用。

  设置灵活。全部图形化的用户界面,使用简便?/LI> ?

  确保灾难恢复。自动建立主要备份的拷贝;标准的UNIX tar格式确保数据的可靠性。

  完整的UNIX和WINDOWS NT异构环境支持。


  系统的升级

  以传统的方式存储和管理日益增长的数据,意味着不断地增加磁盘,投入更多的人力与物力,导致成本上升。尤其是在备份过程之中,系统会不断地被中断。随着国家基础地理信息中心在线数据量的增加,StorageTek为客户推荐了ASM存储管理软件,一种“基于策略的数据管理”方式。ASM自动对数据进行分级存储而无需添加更多磁盘,根据客户自定的存储策略,自动并透明地将数据在适当的时间从磁盘迁移到磁带库上,在需要时则可快速检索文件。不仅节省了资金,还可释放已被复制的数据所占用的空间,优化磁盘容量。

  ASM使适当的数据存储在适当的介质上,从而确保用户享受到无缝的在线速度。此外,无需在磁盘上复制数据,即可做到不间断地备份,确保数据的高可用。ASM为客户实现了适当的数据、在适当的时间、以适当的费用、存储在适当的设备上。

  国家基础地理信息中心:

  国家测绘局于1995年12月组建国家基础地理信息中心。中心经过几年来的建设和发展,正逐步成为国家测绘局向社会提供基础地理信息服务的“总窗口”和基础地理信息高公路网络的国家级“主节点”。主要承担国家空间数据基础设施建设(NSDI)的工程项目设计、国家基础地理信息系统的建设、维护、运行、更新及基础地理信息应用开发服务,航空航天遥感影像数据库建设,基础地理信息网络通信建设,负责国家大地控制网,GPS A、B级网布测和维护,边界测绘和国家重点测绘项目的组织实施,国家测绘局全国基本比例尺测绘档案资料馆藏,国家级基础地理信息分发服务,开展GPS、GIS、RS技术应用。

阅读(770) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~