数据生命周期与存储管理

 了解并掌握数据在其生命周期中发生的事件已逐渐成为实现有效数据管理的一个越来越重要的方面。在数据的生命周期中，数据发生了什么变化？数据的使用率下降了吗？数据价值增加了，还是减少了？为什么数据的保存期限比以前更长了？存在什么条件能够标识数据应失效的时间？存储管理需求会发生变化吗？如果数据是大量商务活动中最有价值的因素，那么为什么我们对其却知之甚少？为了推定数据在其存活期内理想的存放位置，有必要回答这几个重要的问题。特别要指出的是，数据重用的概率正逐渐成为推定最佳数据定位的一个更为重要的衡量标准，同时它还是能使HSM (hierarchical storage management，分级存储管理)更为有效的一个关键度量标准。对于大多数的数据类型来说，对数据“引用”的次数在其生命周期内会随着时间的推移而显著下降。基于这一基本的观察推论，我们可以把相对不“活跃”的数据迁移到较低的存储级别，从而使存储管理更具成本效益。在数据生命周期内，数据的访问频率会逐渐降低，这是拥有超过25年历史的HSM (hierarchical storage management，分级存储管理)概念的一个基本观点。

　　在.COM网站大行其道的时候，存储需求每年以超过100%的速率增长。在目前的存储产业，新的需求以大约每年50%的速率递增。一些分析团体最近指出，存储需求的增长速率应在25至30%之间，但是这个数字是他们以单位出货量计算的，而非以TB字节衡量的存储需求。目前，大量的存储需求正消耗着前几年超量购进而没有使用的现有存储能力。数码存储量的持续增长，使得存储管理变得更为复杂，同时还造成大量数据由于缺乏有效的管理服务而堆积更长的时间。

　　废弃数据通常被永久的分散放置着，这种方法比根据数据生命周期来进行管理更为简易。但是，一般来说，重用数据的概率自数据创建3天之后就会下降50%。数据创建30天后，重用的概率通常会降至一个很小的百分比率之下。Email（电子邮件）和医学成像应用程序就是佐证此处描述的数据变化过程的最佳例子。由于环境（电力消耗）以及购买磁盘和磁带每一存储单元的价格差别（磁盘比磁带贵）等因素，将活跃程度低和不活跃的数据长期保存在分卷的磁盘上是一种不经济的做法。

　凭经验测定的存储消耗（Storage Consumption Rules of Thumb）、观测资料和评估数据比起我们对其管理的能力，增长速度更快。随着存储网络，特别是SAN得到越来越广泛的部署，无需人工的介入，就能自动地实现基于各种存储技术的最佳数据定位，但其最初是基于主机的。之后，这类最佳数据定位功能将逐渐脱离“连接”服务器，并作为存储网络自身的一种“频带内” （in-band）或“频带外”(out-band)功能而执行。这些功能最有可能是通过使用服务器刀片或SAN装置实现的。人们将开始使用高级策略驱动 SRM（storage resource management，存储资源管理）软件测定引用式样（reference patterns）和触发器管理行为（trigger management actions），并最终将数据迁移到其在整个生命周期中最佳的存储位置。

    存储产业一个主要的发展浮出水面：将存储管理功能从服务器移除，迁移到存储网络，从而将主机资源消耗降到最低程度并提高存储管理速度。基于此目标的应用最初包括脱机备份和脱机恢复（无需服务器的参与）。作为数据中心运作带来的一个基本变化，脱机备份将允许事务执行多种操作，如在任意时刻进行全部备份、“快照”（snapshot）和增量备份，而不消耗应用服务器的CPU运算时间和带宽资源。在脱机备份中，服务器将对备份和恢复功能进行初始化，但是它并不处在数据的迁移路径中。在实现备份和恢复的过程中，数据直接从磁盘阵列迁移到指定的网络或从自动磁带库经由指定网络传输，这种做法是比较合理的。该功能能够实现巨大的操作效益，进一步促进了SAN架构的推广应用。

　　在现有备份技术条件下，服务器周期、I/O路径和内存的负载都很重。此外，大量非大型机的用户抱怨他们大约有一半的备份操作由于各种原因（主要是人工操作失误）无法进行。脱机备份实现了理想的“零当机备份”（zero downtime backup），使IT部门无论何时都能够备份数据，而为此所需投入的成本很低，几乎可以忽略不计。要进行脱机备份，应用软件应该使为用户设计的API （应用编程接口）能够激活这一功能。尽管人们对脱机备份的接受程度在一开始的时候并不太高，但是对自动以及动态脱机存储管理的需求之大，却超出了大多数人的预料之外。

　　实现脱机备份之后，人们急需将HSM (hierarchical storage management，分级存储管理)引入SAN装置或刀片服务器，HSM就这样诞生了。正如上文所述，脱机存储管理技术的发展将最终超越备份和恢复技术的范畴，还将包括镜像（mirroring）、复制(replication)、“快照”（snapshot)拷贝和多种虚拟功能。高级的SRM （storage resource management，存储资源管理）产品使主动或预期的数据迁移成为可能，从而进一步优化存储分级。管理员可以使用一套管理工具（即工具软件），通过单一的接口做存储操作。和以往相比，此举能够对更多的存储设备进行有效管理，同时还能缩小已安装的存储容量与实际最终可以管理的容量之间的差距。

　　随着存储产品的价格逐渐走低，数据也变得越来越难以管理。与此同时，如果不考虑经济以及其他重大全球性事件因素，数据的价值在不断增长。由于对数据的存储管理需求随着时间的推移变化，存储管理已经成为一种经常性的行为，贯穿在数据的生命周期中。数据最初不一定要存储在其最终存放的位置。为了解决这一日益突出的问题，业界投入了很大的精力。考虑到存储需求的的增长率，开始这项研究的时刻已经到来。