构建存储梯田

前言 本篇文章首发《网络世界》
文章版权&复制权属于《网络世界》     一种技术或者概念，只有符合而且能够满足用户迫切的需求，才会赢得更多用户，才会获得广泛应用。分级存储就是这么一种技术。     那么，分级存储到底能够满足用户什么样的需求？它的具体含义是什么？对于应用来说，用户最关心哪些问题？希望读者能够从本专题中获得些许答案。     梯田，沿着山坡开辟的一级级农田，凝聚了多少人的聪明，提高了光、热、水、土资源的利用率，减少水土流失，增加固水能力，并提高农业生产力。在高山陡坡上充分利用每一寸土地资源，以获得最大面积的生产空间。     在有些干旱地区，由于每块梯田的阳光、水土的资源都不尽相同，所以真正高产的梯田在山坡的不同位置种植的农作物会有一定差别，有的位置种玉米，有的种大豆，还有的种马铃薯。     分级存储，将用户拥有的所有存储资源统一治理，提高了每种存储设备的利用率，节约了成本。     存储的分级是十分明显的，仅从设备上说，就有磁带机、磁带库、NAS、中低端盘阵、高端存储系统等等，如何根据用户数据的不同价值合理利用好每种存储资源是一个不小的挑战。      需求篇 数据价值与存储投资的矛盾 “今天企业的数据中心非常复杂，数据保护是其要害。但是，并非所有的数据都具有同样的价值；并非所有的企业都具有同样的需求。” ――John McArthur，IDC存储研究部副总裁     企业拥有海量的数据，但往往只有有限的预算用于数据保护。因此，很有必要基于精心定义的风险规避政策来为精选的数据分配适当的保护资源。     IT企业总是要面对增长起来无休无止的数据量。各种应用都在创建越来越大的文件。用户也很少删除数据和存档，这就导致要访问旧一些的文件已经变得非常困难。因此，目前的潮流是购买更多的软件。然而，这种解决方案产生了非常复杂和笨拙的存储环境，不仅需要更多的维护和治理，而且需要更多的金钱来维持。     

系统中60%至80%的数据经常在一个月，甚至一年中都不会被访问。（如上图所示）     而在经常访问的数据中，重要性差别也十分突出，有的数据与用户的业务联系紧密，可靠性、可用性及性能要求都很高，有的尽管经常使用但是与业务联系不是非凡紧密。     一般来说，重用数据的概率自数据创建3天之后就会下降50%，当数据创建30天后，重用的概率通常会降至很低，而高达90%的数据超过90天后就不会或很少被读取。     为了提供良好的数据保护，IT部门通常都保留巨大的空余空间，用以防止出现容量不足的现象。分析专家曾报告说，Unix和Windows的存储利用率只有20%至50%。这也就是说，许多企业支付巨资购买的大量存储空间都被浪费掉了。这种浪费是体系结构造成的，使用者要支付系统资源费用，系统需要治理员的维护，备份的成本也增加了，而且恢复数据的时间也更长。     只要解决了这种效率低下的问题，企业就能避免为这些未使用的存储空间进行灾难恢复操作，并且能够通过合并硬件来减少日常运营开支。但怎样才能实现这一目标呢？解决办法看起来应该是对比较陈旧或未使用的数据进行删除或存档。这样做可以释放大量的空间，但这种办法远不够理想。删除是一项手工作业，要冒数据丢失风险，甚至会导致法律纠纷。存档虽然是一个自动的过程，但却要迫使企业对用户进行存档应用的培训和支持，而且经常需要专用的存储设备。     还有一个很重要的问题是，在一个大型用户那里，拥有从高端存储系统到低端带机、带库全系列的存储设备。高端存储系统中存放的数据不一定都为价值最大的数据，相反，在低端带机、带库中也会有价值很高的要害数据。这样的坏处是，增加了数据保护工作的风险也降低了整体存储资源的利用率，一定程度上造成了投资的浪费。因此，合理利用存储资源并且尽量降低数据保护的风险是一个巨大的挑战。      治理篇 分级存储重在治理 存储实现分级以后，在线、近线与离线存储存放的数据价值不同，在同一级别存储内部（比如在线和离线存储），存放的数据也应该不同，实现每一级别内的“分级存储”。如何将各个级别存储中数据统一治理起来便成了最为要害的问题。     分级存储治理     分级存储治理（Hierarchical Storage Management，HSM) 起源于1978年，首先使用于大型机系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。     分级存储治理是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。通俗地讲，数据迁移是一种可以把大量不经常访问的数据存放在带库、盘库等离线介质上，只在盘阵上保存少量访问频率高的数据的技术。当那些磁带等介质上数据被访问时，系统自动地把这些数据回迁到盘阵中；同样，盘阵中很久未访问的数据被自动迁移到磁带介质上，从而大大降低投入和治理成本。
    HSM应用也具备监测磁盘容量并在要害容量情况下作出反应的能力。这种软件经过配置后可以为某个卷设定一个最小的剩余空间，如20%。     假如软件发现该卷的剩余容量已经不足20%，数据就会被从该卷移动至备用存储介质。这样便可以立即释放空间，治理员也可以在今后有空闲时再来解决空间的问题。     由此可见，分级存储治理更多从降低成本、不影响数据应用效果的角度解决数据的存储问题。事实上，降低成本、提高效率已成为IT厂商追逐技术进步的一个目标。近线存储就是这种进步的产物。伴随单盘成本的下降，近线存储市场渐热，有业内专家猜测，不久的将来，近线存储技术将取代数据迁移技术，用户将以模拟海量空间的、更为安全可靠的磁盘介质保存历史数据。而成熟完善的数据迁移软件技术将更为恰到好处的融入到近线存储设备中，为近线存储技术的发展起到推波助澜的作用。     信息生命周期治理     目前，许多厂商和用户都认为，数据是具有生命周期的。因此，有厂商提出了信息生命周期治理（Information Lifecycle Management，简称ILM）理念。     Legato中国区总经理李飚介绍说，ILM不是某个硬件或软件产品，而是评估和治理信息的存储方式。它教育客户平衡信息价值和治理费用，根据数据对企业生存的要害性以及企业发展带来的价值决定存储费用。信息从产生到使用直到灭亡，其全部过程都需要进行治理，因此，信息生命周期治理是用户发展到一定阶段的存储需求，只不过它是一种很复杂的需求，具体来说，就是如何建立一个更完整、更具有价值的信息系统，能够完全满足用户对于数据的以下五种需求：随时访问、按时间恢复、方便的共享、所有数据受到适当的保护以及按照一定的时间规定（比如法律规定）治理数据。     企业的业务信息随着时间的推移而变化，企业的存储策略也应随之改变。以高投入存储那些已经不再为其产生收入的信息得不偿失。信息生命周期治理为企业提供了平衡信息价值与存储费用的战略手段。     Legato将信息生命周期划分为7个阶段，包括了数据从产生直至灭亡的全部过程。（如图所示）

    李飚表示，仅仅意识到用户的需求而简单地提出一种概念是远远不够的，由于是一个“周期”的治理，因此，在这个周期的每个环节都要有相应的产品来满足需求，包括系统咨询、信息采集、数据保护、迁移、归档等等产品。在一定的时期，用户可能只会应用到其中的某个或某几个环节，但是，把整个信息系统作为一个整体来治理是一个必然的趋势。     分级存储问与答     问：分级存储主要应用在哪些领域？     答：笼统地说，凡是拥有巨大数据量的用户都可以从应用分级存储中获得更大利益，尤其是电信、气象、地震以及图像处理等领域。以电信行业为例，在线业务系统需要在线存储；有些业务需要查询客户3个月或6个月以前的信息记录，近线存储就很适合；更久的信息同样不能删除，这就需要离线存储。同时，随着业务的不断进行又会产生新的数据，如何将在线、近线以及离线的数据统一治理好需要利用分级存储治理和信息生命周期治理技术。     问：是不是某些用户可能只用到其中的部分技术？     答：是。比如，有的用户只有数据保护的需求，有的用户只有数据归档的需求，他们就只会使用相应的技术。在数据量巨大的用户存储系统中，也可能使用了分级存储的所有技术，但是相对独立一些，还没有将它们作为一个统一的整体进行治理。     问：分级存储最大的好处是什么？     答：最大的好处是提高了整个存储系统的利用率，把信息的治理提高到战略的高度。     问：用户如何部署分级存储？     答：对于还没有建立存储系统的用户来说，可以从全局统一考虑，按照数据生命周期的每一步建立相应存储系统，并使用分级存储治理和信息生命周期治理技术将各存储系统集中治理；对于已经建立独立存储系统的用户来说，可以采用保护原有投资的方法补充没有的环节。