地理信息中心异地存储备份实例

近十多年间，国家基础地理信息中心（以下简称中心）先后建成了国家基础地理信息系统1：400万、1：100万、1：25万等地图数据库。目前，中心计算机系统中存储与运行的各类“在线”成果数据约为6TB，随着“数字中国”地理空间基础框架建设进程的发展，数据容量还在以每年TB级增加。    保持业务的持续性和数据的完整性是当今基础地理信息系统数据存储需要优先考虑的一个重要方面，采取远程的数据存储、备份与恢复手段，能够提高基础地理信息系统的高可靠性。
    异地存储备份系统概貌
    异地存储备份系统主要预防不可抗拒或不可预知的事件带来的数据不可用性，可将灾难造成的数据不可用性减到最小，即当灾难发生时，异地存储备份系统保证：
    （1） 数据在远程场地存有完全一致和可用的拷贝，数据延迟时间控制在可接受的时间之内；
    （2） 应用可以在远程现场及时运行。
    由上可知，异地存储备份系统的核心就在于在异地将灾难化解：一是保证数据中心的数据安全；二是保证业务的连续性。异地存储备份系统的关键技术包括网络技术、存储备份技术、数据复制和应用的远程切换技术。
    异地数据存储备份有很多种类型，从业务不间断级别来分析，异地存储备份方案有冷异地存储备份、温异地存储备份和热异地存储备份三种类型。
    一般来说，异地存储备份应用的要求越高、异地存储备份距离越远，实现异地存储备份方案的成本也越高。根据中心业务需求和投资情况，最终选择了基于广域网的温异地数据存储与备份方案。
    数据存储与备份
    温异地数据存储备份主要有两种实现方式，一种基于硬件的远程数据镜像和复制；另一种是基于软件的远程数据镜像和复制。
    基于硬件的数据镜像和复制是通过磁盘阵列控制器来获得主、副存储子系统之间同步/异步数据镜像的能力。其优点是对主机的资源占用很小，能保证业务正常运行下的I/O响应；缺点是占用大量的磁盘阵列资源，降低存储设备的性能，而且仅能实现数据的远程复制，对于应用的切换还需要软件来实现。另外，这种方法比较依赖硬件环境，就是说在异地站点要配置和本地站点相同的硬件才能完成异地存储备份功能，成本相对较高。
    基于软件的数据镜像和复制是通过软件形式实现的数据异地存储备份方法。现在有许多公司都有这种基于跨平台存储管理软件的异地存储备份解决方案。基于软件的数据镜像和复制不依赖于存储硬件，中心可以灵活地选择任何厂家的磁盘阵列，便于保护投资。同时，其设备管理简单、价格相对硬件实现更为便宜、两个现场间的距离不限、主机资源占用也不大。
    在异地存储备份系统首期建设规模不大，对数据同步延迟时间限制较宽的条件下，根据中心的实际情况，我们选用基于软件的远程数据镜像或数据复制模式。
    根据目前中心对数据存储备份工作的要求，对于已经建成的在一个较长时间段（如一年）内不会发生变化的成果数据，建议采用冷异地存储备份的方式；对于正在建设中的重要数据，采用温异地存储备份方式是最佳的选择。这里主要考虑了基础地理信息成果数据在灾难恢复时效上的要求——它允许1~2周的异步数据恢复周期，同时也考虑到温异地存储备份方式在资金投入方面的可接受程度。
    中心方案设计
    中心构建的北京-西安异地存储备份系统主要由广域联网系统、本地主站和异地站点及数据复制软件组成（拓扑结构如图1），下面分别加以说明：
    1. 广域联网系统
    中心（北京）与陕西测绘局（西安）之间建有一条2Mbps带宽的专用通信光缆，具有数据传输、IP电话和视频会议等功能，是中国测绘网广域联网的组成部分。中国测绘网采用SDH光纤专线，支持TCP/IP协议，可提供2-8Mbps标称带宽，实际传输效率约95%，即1.9-7.6Mbps（0.855GB/小时-3.42GB/小时）。
    2. 北京主站配置
    北京主站点位于国家基础地理信息中心网络技术部主机房内，用作远程数据复制的发送/接收。
    主要由1台2TB Sun StorEdge 3510光纤磁盘阵列、1台1：5万DLG（数字线划图）数据库服务器，1台异地存储备份服务器和2套远程复制软件构成。其中，异地存储备份服务器作为本方案的主服务器，为Sun Fire 880 UNIX服务器，配置Solaris 9中文版操作系统和SNDR 3.1.40远程复制软件（Master）； 1：5万DLG数据库服务器为Sun Fire 280 UNIX服务器，配置Solaris 9中文版操作系统和SNDR 3.1.40远程复制软件（Slave）。
    另外，本地主站点设备还包括Oracle 9i数据库软件和Arc GIS组件（Arc/Info 和SDE系统）各一套。
    3. 西安站配置
    位于陕西省基础地理信息中心服务器主机房内。主要由1台UNIX服务器、1台2TB光纤磁盘阵列、1台磁带加载机和1套远程复制软件构成。
    其中UNIX服务器为Sun Fire 280 UNIX服务器，配置Solaris 9中文版操作系统和SNDR 3.1.40远程复制软件（Slave）；光纤磁盘阵列为Sun StorEdge 3510光纤磁盘阵列。由于西安站点需要进行数据备份，可以采用CA公司的BEB备份软件和SLR 50/100磁带加载机进行。
    另外，异地站点设备还包括Oracle 9i数据库软件和Arc GIS组件各一套。需要说明的是，西安站点配置的Oracle和Arc GIS组件（Arc/Info 和SDE系统），主要是为了在西安异地备份系统建立起与北京主站点数据库系统相同的数据库和应用环境，一旦北京数据库系统出现严重故障，西安异地备份系统可以完全提供相同的应用功能。
    4. 异地存储备份方案
    将北京主站点1台负责在线矢量和Oracle数据管理的Sun Fire 280 UNIX服务器，以及Sun Fire 880 UNIX服务器分别安装异地存储备份软件，前者作为SNDR远程复制软件Slave端 ，后者作为SNDR远程复制软件Master端，从而在2台服务器之间建立本地主站内部的数据复制关系。
    由于这2台服务器之间的数据传输建立在带宽为100Mbps的以太网络之上，因此每个工作日的非工作时间（如夜间10时后至第二个工作日上班前）进行数据复制可以传输完毕当日工作时间完成的数据增量。另外，这个过程可以由人工编写的脚本完成，因此具有较高的灵活性，可以根据实际工作情况进行改变。
    需要关注的是，如果Oracle服务器产生的日数据量大且持续时间长，北京主站点Master和Slave数据复制服务器之间可以采取异步模式，否则采用同步模式。
    在北京主站点Master和Slave数据复制服务器之间的同步/异步数据复制进行一个时间段后，如5个工作日，可以将上述两台服务器之间的数据复制关系暂时解除，在北京主站点Master和西安站点Slave服务器之间开始建立异步数据复制关系。考虑到远程复制关系建立的初期，需要进行一次磁盘阵列有关物理卷的全复制，由于数据量巨大，在“中国测绘网”上耗时长，效率不高，因此初建西安站点时，可以将其服务器和磁盘阵列设备放到北京调试，在北京主站点做好物理卷全复制后再运到西安。在其后的远程复制操作中，异地存储备份系统仅传送增量数据，节约网络资源，大大提高效率和成功率。
    由于北京主站点内部数据复制的速度在理论上是远程数据复制的50倍（100Mbps/2Mbps），因此在5个工作日的内部数据复制完成后，远程数据复制所花费的时间就构成了本方案数据复制延迟的时间，这个参数决定了本方案的效率和可行性。从实际操作角度分析，北京主站点每个工作日的工作时间为8小时，在100Mbps速率的以太局域网内，中心内部数据增量复制可在同样的时间段内同步完成。在北京主站点和西安站点进行远程数据增量复制，由于由SNDR软件自动控制，每个工作日的工作时间可为24小时。因此，北京主站点内部数据复制的速度实际上是远程数据复制的50×（8/24）≈17倍。
    一般情况下，北京主站点的数据增量在一个工作日内的情况为：对于Oracle数据库建库，北京主站点的数据平均增量每天为8GB；对于ArcInfo数据建库，北京主站点的数据平均增量每天为2GB.
    方案特点
    此方案异地数据传输性能稳定，满足长时间、满负荷的数据处理操作，网络带宽使用效率高达90~96%.它不依赖数据格式，按照磁盘卷级（block 块）进行数据传输，解决了诸如Arc/Info Coverage 这类小文件、大容量类型数据所带来的传输瓶颈，各种数据的传输效率相同，克服了基于文件的数据复制模式依赖文件属性的弊病。它克服了链路突然中断、人为操作失误等极端条件对数据的影响。该系统不仅可以恢复远程站点的数据损失，而且还可以反向修复主站点的数据操作失误。北京主站点的数据安全性得到大幅提升。此外，系统还具有增量复制的高效、可操作性，较高的成本优势，以及支持应用的恢复等特点。
    本案例中，国家基础地理信息中心在数据异地存储备份技术的基础上，结合在线成果数据安全存储的特点和需求，对数据的远程异步复制技术进行了讨论，并最终提出了详尽可行的异地存储备份应用方案。本方案适用于对同步/异步延迟要求不太苛刻的省际远程数据复制应用，对一些规模中等以下的数据中心更具借鉴意义。