众志和达(SOUL)：数据迁移案例

  用户属于气象专业国家重点职能单位。主要工作系统有：１、气象综合探测系统、２、气象信息网络３、基本气象信息加工分析预测系统４、气象信息技术服务系统，对于这些国家级气象资料存储方面有着严格的要求。为此我公司结合Legato DiskXtender软件并本着诚挚、科学的态度，充分考虑用户的需求，利用国际领先的科技和丰富的设计、项目经验，提供最佳的专业服务，以及高性价比的系统设计方案，检索系统项目提供一套优质的分级存储管理方案。

[用户需求]
用户提出在数据分级存储管理系统建设里，需要实现以下功能：
1、 实现分级存储管理，包括：在线存储管理，近线存储管理，离线存储管理；
2、 具有迁移、归档、回迁等功能；
3、 具有磁盘空间释放和磁带整和功能；
4、 当文件迁移到磁带（近线存储设备）上，磁盘应保留文件识别信息，以便查询、检索、回迁文件；
5、 对离线设备即脱机磁带上的数据仍能了解它存放的内容和数量，需要时随时可转为二级存储或一级存储设备上的资料；
6、 迁移数据的格式应满足通用性，提供脱离本软件读取归档数据的解决方案；
7、 能够满足从MB到GB大文件的归档和回迁能力；
8、 能够保证迁移过程中数据直接通过SAN通路从磁盘迁移到磁带库上，只有命令流才通过SAN管理服务器-----即实现“脱离服务器的迁移和回迁”；
9、 支持主流的磁带机和自动磁带库；
10、灵活的归档策略，可以根据访问文件时间、文件
系统空间使用率、文件使用频率、文件名、文件类型等条件进行归档；
11、提供与数据库管理系统的接口；
12、提供集成化、图形化的管理工具，可方便地进行安装、配置和管理；
13、提供管理监控的API编程接口和商用监控管理软件的可管理接口。

[解决方案]
针对总体规划和具体技术要求，我们选择美国嘉道公司的Legato DiskXtender作为存储管理软件。DX是应用于UNIX平台的企业级分级存储管理软件，已为十几个国家的气象系统提供了出色的分级存储管理解决方案。
方案的实现由两个部分（DiskXtender UL的两个模块）构成：
1、 Storage Manager：
用来管理用户服务器上所有的存储设备，包括磁盘空间。磁带，光盘等等。其主要功能是在这些外部存储设备上创建文件系统，使用户可以透明的访问到这些空间。
2、 Data Manager：
用来管理网络用户需要迁移的数据和文件。使用户构建的数字化数据存储系统满足了以下条件：
• 在保存数据的同时，仍然要保证数据的在线可以访问的状态。
• 由于用户数据的增长速度，系统的扩容性要好，要将系统因扩容所造成的停机影响和成本降低到最小。
方案中，用户原来保存在纸张上，胶片上的数据，经用户的转换系统（如：模拟-数字采样系统，扫描设备等），变成数字文件，先保存在硬盘阵列上。然后由系统管理员根据自己系统的需求，制定合适的数据迁移规则，当这些规则发生作用的时候，保存在Data Manager上的数据将被迁移到连接在Media Service上相应的存储设备上。但在数据被迁移到了这些外部存储设备上之后，Data Manager仍然在本地的硬盘阵列中的MTF记录中这些信息目前的所在位置，使得需要访问这些数据的客户端，仍可以直接对这些数据进行透明的访问，从而满足了用户的第一个要求。
由于整个系统采用了将一级存储设备（硬盘）和二级存储设备（磁带和光盘）结合使用的方式。使那些二级存储设备将原有的方便扩容的性能带进了这个储空间，众所周知，对磁带这类设备的扩容只需要简单的添加设备就可以实现大大降低了硬盘扩容的的周期，满足了用户对这个系统的第二个要求。

[用户收益]
• 在所有主流平台上的分级的数据存储管理，从网络各个地点上传的数据将先保存在磁盘
阵列中缓冲区中，再通过系统管理员指定相应的策略，数据将会自动的转移到后面的大型磁带设备中；
• 数据在迁移到了后台的磁带存储介质上以后，仍然在硬盘上保留有相应数据的识别信息，在用户对已经迁移走的数据进行访问的时候，系统将凭借这些信息从磁带中找回用户所需的文件；
• 只要用户在硬盘上所开辟的缓冲区足够大，那么可以保证任何容量的文件顺利的迁移至磁带库；
• 在SAN结构中，数据的迁移或访问将通过，磁盘>服务器>磁带或磁带>服务器>磁盘的数据流动方式实现，从而完全实现LAN-FREE方式，不会对用户网络造成额外的压力；
• 集中管理.用户可以通过一套完整的GUI用户界面实现对整个分级存储系统的完善管理。

 

 

 

     [某气象局数据迁移系统拓扑图]