数据迁移方案

方案综述

随着计算机技术和网络技术的飞速发展和在各个领域中广泛应用。近几年来由于计算机的数据信息成爆炸性的增长，几乎所有的企业均面临海量数据存储的需要。而在真正要部署一个能无限满足企业数据存储需要的存储解决方案是一项非常专业技术，因为这需要预算企业每天的存储增长的同时还要考虑到存储的可扩展性和可用性。数据迁移分级存储管理技术正是在这样情况下应运而生的。

分级存储管理技术的发展大致经历了两个历程。

第一个历程也就是采用最传统人工手动方法进行数据的迁移和调度，具体方法如下：将不常用的数据按照一定的人工策略迁移至其它存储设备，如大容量的磁带库和磁带机中。这种方法对于专业化的网络数据管理来说，具有安全可靠的优点。然而，将数据从非在线设备（大容量磁带库）迁移回到在线设备（硬盘）时，需要有专业网管人士进行操作。

第二个阶段就是现在的智能的分级存储管理技术。这种技术是实现计算机系统大容量存储数据的方法之一。它将高速、高容量的非在线存储设备（如大容量磁带库）作为硬盘的下一级设备，然后将硬盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从后级存储设备调回到硬盘上。对于用户来说，上述数据迁移操作完全是透明的。用户可能会感到访问硬盘的速度稍慢一点，但会明显感觉其逻辑硬盘的容量大大提高。相对传统的数据管理模式，这种技术的解决方案所带来的优势是显而易见的。

我们提供分级存储技术为各企业提供性能卓越存储解决方案，该方案能提供在有限的存储投资下满足海量的数据存储需求，同时也使得系统整体容灾能力。

方案简介

从原理上来讲，分级存储是从在线系统上迁移数据的一种方法。文件由数据迁移（HSM）系统选择进行迁移，然后被拷贝到HSM介质上。当文件被正确拷贝后，一个和原文件相同名字的标志文件被创建，但它只占用比原文件小得多的磁盘空间。以后，当用户访问这个标志文件时，HSM系统能将原始文件从正确的介质上恢复过来。

在HSM软件中提供多种的数据迁移的策略,通过高水位、低水位及清除位来作到存储原则的标识，当数据达到高水位时HSM软件则会将数据迁移至二级存储设备中或三级存储设备中直至到底水位时停止，并将在一级存储设备中的存储空间释放出来，但是对于用户是透明的。另外，还可以自己建立相应数据迁移策略，比按文件访问的时间、大小等原则。

在HSM软件中带有介质管理的功能，通过此模块HSM软件可对磁带库、光盘库进行管理从而实现数据的多层复制功能。同样他还提供自动的数据迁移时间按排，实现灵活方便的数据迁移日程控制。

数据迁移系统包括以下几个部分：

数据迁移服务器
数据迁移服务器顾名思义就是负责整个存储网络中数据迁移的服务器。它主要担当整个存储网络中的数据管理员身份，当数据达到某一事先规定的标准时，此服务器便将数据从一级存储设备（磁盘阵列）向下一级存储设备（光盘库和磁带库）复制，并且释放出一级存储设备中的存储空间。同时，此服务器管理所有数据迁移策略的制定和磁带库设备驱动和管理。

多级存储系统
存储系统按照数据操作层次不同可分为：近线存储系统（系统盘、磁盘阵列）和离线存储系统（光盘库和磁带库）。所谓近线存储就是提供实时的数据存储的设备，它必须始终是在线的。而离线存储系统就是它并不需要提供实时的存储服务，只在某一时刻才涉及数据的存储，这种设备所保存的数据可进行离线管理。

客户端
其实就是在网络中的一台计算机系统。而这台计算机上有许多数据需要通过数据迁移服务器来完成数据从其本地磁盘复制到数据迁移服务器上，并释放其本地磁盘空间。

分级存储的工作
原理是：将所有可移动的存储设备，逻辑捆绑在一起进行管理，它将某个逻辑硬盘与磁带库连在一起，并对该逻辑硬盘实行分级存储。

具体操作时，本方案提供各种数据迁移策略的选择，如自上次访问以来的最短时间、最短文件长度、文件类型、磁带设备容量与硬盘容量的比例等，条件可有复合的选择，在满足条件的前提下，然后，系统会自动进行迁移操作。转移后的文件被用很小的“占位”文件取代，由该占位文件指向原文件被转移后的新位置。因此该文件对于应用和用户仍是可见的。一旦系统接收到对被转移文件的请求，它会从最快捷的途径进行检索，以透明的方式恢复该文件。部分文件高速缓存使应用可以立即访问文件中的某一部分；而同时系统则取回整个文件。

当用户需要访问被迁移文件时，系统会将磁带设备上的相应数据调回到硬盘供用户访问。本方案中，文件系统的备份只需写入被转移文件的占位文件即可。同时，您也可以对系统进行配置，使文件在转移时被写入备份系统。这样，您所有的数据都可以随时恢复，而且备份的速度大大提高。

方案特点

无人值守的自动转移——数据迁移系统不断对关键网络服务器的磁盘存储空间进行监控。当磁盘空间达到预定的饱和度（“高水位”）时，数据迁移软件开始将不常使用的文件转移到二级存储设备中。转移过程持续进行，直至磁盘的占用率达到预定的下限（“低水位”）为止。这时，磁盘空间已足够使用。如果管理员预计在特定时间内将有大量新的数据进入，也可手工启动转移过程。转移后的文件被用很小的“占位”文件取代，由该占位文件指向原文件被转移后的新位置。

灵活的配置——管理员可以利用大量的参数来确定可转移的文件。例如，管理员可选择不对某种关键的文件类型进行转移。其它转移参数包括最短文件长度和自上次访问以来的最短时间等。

对被转移数据的透明访问——在主磁盘上会留下一个占位文件。因此该文件对于应用和用户仍是可见的。一旦数据迁移软件接收到对被转移文件的请求，它会从最快捷的途径进行检索，以透明的方式恢复该文件。部分文件高速缓存 （目前仅适用于UNIX系统）使应用可以立即访问文件中的某一部分；而同时数据迁移软件则取回整个文件。