重复数据删除技术 虚拟磁带库的推动力

市场正热的重复数据删除技术，将会改写存储行业的规则，虚拟磁带库是最大受益者。

根据调研机构IDC的数据显示，“全球虚拟磁带库市场的总值，将在未来五年内翻一番，预计到2011年时达到14亿美元的市场规模;同期，市场的复合年增长率将达到47.4%”。

众所周知，磁盘和磁带是在存储系统中用得最多的存储设备，然而近年来随着磁盘技术飞速发展，很多企业用户已经开始考虑基于磁盘的备份方式，磁带的生存空间似乎越来越小。

VTL因“整合”全面管控

以往企业用户存储，特别是一些高端行业用户使用磁带存储过程中，由于传统磁带备份的某些局限性，比如备份速度低、各种机械故障以及复杂的维护工作等通病，往往让用户有苦难言。

VTL(Virtual Tape Library)即虚拟带库的概念由此而生。虚拟带库是通过软件将磁盘阵列虚拟成磁带库，在操作窗口上实现完全如物理磁带一样的操作。它本质上是磁盘阵列硬件设备，但是在软件功能上模拟磁带备份的形式，因此对于管理者来说就很方便。它就像是一个磁带库，对它的管理如同管理一个物理磁带库一模一样。

前些年，传统机械磁带库厂家纷纷推出虚拟磁带库作为高端产品系列，包括IBM、HP、EMC等IT巨头纷纷介入这个领域。并且，越来越多系统整合厂商提倡VTL的解决方案。目前的VTL产品大都能够支持开放操作系统、备份软件、FC SAN架构、具备磁盘子系统的可靠性而且实施简单，可说是已经非常大众化了。

虚拟磁带库兼容磁带备份管理软件以及传统的备份流程，这使得设备的可用性及备份性能得以提升。在企业应用中，虚拟磁带库用电子“机械手”和磁带驱动器，代替了机械磁带库中裸露、易损的系列机械装置。这样，设备的可用性得到提升。另外，自动报警和在线热恢复能力也是以前磁带库难以做到的。

我们知道，磁带备份是最早的存储应用之一，但磁带库的可靠性远不像磁带库厂商宣传得那样好，平均无故障时间并不令用户满意，在实际应用中往往一两年就开始出现故障。而封闭式结构的磁盘介质本身的MTBF（平均无故障间隔）一般为开放式结构的磁带介质的5倍以上。从而将备份的可靠性较常规磁带备份提高了若干量级。当然，其恢复工作与磁盘备份速度一样。

虚拟磁带库中，一般采用磁盘阵列作为后端存储设备。磁盘阵列采用的RAID技术来保证当盘阵中某一块磁盘出现故障时，盘阵上的数据仍然可以正常读写。当出现一块磁盘损坏时，RAID控制器可以自动隔离故障盘，并立即开始逻辑卷自动重建，实现自动在线热恢复。保证了设备的连续可用性。

对于用户来说，虚拟磁带库是“整合”的，其在储存架构里可以扮演集中控管的角色，集中前端服务器传输的资料量，并衔接后端实体磁带柜，所以管理人员可以靠虚拟磁带柜的产品对前端与后端储存设备，进行全面控管。

重复数据删除推动VTL

虽然虚拟磁带库技术已经出现多年，但基于磁盘备份的高额成本，用户始终无法承受大规模的应用磁盘作为备份首选介质，形成目前很多用户仍然采用传统的磁带存储模式。不过，对VTL今后的发展产生较大影响的因素是重复数据删除(data de-duplication)技术的成熟与普及。IDC的分析师Robert Amatruda就曾说，“随着重复数据删除技术的出现，当今的虚拟磁带库经济可与磁带相比。”

“重复数据删除”技术是根据“De-Duplication”翻译过来的，简单说就是消除副本。国外分析机构ESG将重复数据删除定义为删除或擦去冗余文件、字节或数据块的流程，确保只有“独有”的数据存储在磁盘上。

举例来说，若某一份文件只更改了名称，然后再另存为新的文件，那么系统就会视其为不同的数据存放，若用全备份配合增量备份，用户若要检索数据时，就必须分别找出存储全备份和增量备份的磁带，这是一个复杂过程。

如果要想很多地解决这个问题，就要利用重复数据删除技术，因为其数据比对可降至区块层级，所以比对的程度更加精密。对经常采用全备份的用户来说，重复数据删除技术还可解决全备份过度占空间的问题。

目前，大量的重复数据删除工作都与备份和归档有关，而VTL正是用户备份和归档的重要后端设备与部分实现端。因此，重复数据删除技术也已成为大型企业在选择VTL时考虑的重点。因为，无论压缩还是重复数据删除，都能帮助企业使更多的数据在导出到磁带前在磁盘上保留更长时间。

有分析家表示，目前市场正热的重复数据删除技术，将会改写存储行业的规则，存档的数据将会呈几何级别递减，大幅削减存储成本，借助于重复数据删除技术，用户的存档数据所占用的空间将会缩减为现在的5%，虚拟磁带库和重复数据删除技术的结合，也会引发存储市场的一轮变革。

不过，尽管重复删除技术有种种优势，但是分析师还是提出，用户要谨慎对待这个技术。在应用重复数据删除技术之前，用户应该认真考虑自己的整体数据容量和到底需要这项技术来实现什么目标。

另外，由于重复数据强调的是单实例存储，所以这会给用户带来安全问题。因为重复数据删除会将数据信息的多个副本都删除，最后只保留一个副本。最后，在VTL上整合重复数据删除功能，有些厂商视为标准配备，有些厂商则视为选购功能，缺少统一标准。这也是用户选择时需要考虑的方面。

云计算和2.0都强调的

虚拟磁带库的三种主要实现方式

目前市场上的虚拟磁带库可以分为三种类型：备份软件型（D2D）、型（VTL Appliance）、智能化专用型（Intelligent High Preformance VTL）。

第一代：备份软件型（D2D） 备份软件型将磁带库模拟软件直接安装在备份服务器上，把某些文件系统分区模拟成磁带库，使备份软件以磁带库方式使用磁盘文件系统。这种方案多由备份管理软件作为一个功能模块提供，价格比较低廉。但由于受制于文件系统，使其应用场合、I/O性能及数据安全性具有一定局限。

第二代：型（VTL Appliance） 型通过把虚拟磁带库管理软件安装在一台独立的专用服务器内，而将该服务器及所连接的磁盘存储设备模拟成磁带库。这种方式下，备份服务器或其它应用主机通过FC或SCSI与专用的服务器连接，此时专用服务器及所连接的磁盘存储系统一起体现为虚拟磁带库。

此类方案下，虚拟磁带介质—磁盘逻辑卷， 不再是操作系统格式化的扇区，而是和磁带一样的裸介质（“raw disk”）；其上备份数据也是按顺序Byte to Byte存放的，在物理层上实现了磁盘读写的线性化，避免了文件系统的碎块问题，充分利用了磁盘设备的高速I/O性能。

这种方案的不足是需要利用一台具有一定扩充能力的PC服务器作为虚拟磁带库管理器，系统优化性略低。另外控制器部分采用PC服务器结构，不够精简。第三，PC服务器以及其连接的磁盘阵列管理不统一，不是一体化结构，还容易产生PC服务器和后端存储的不兼容问题。

第三代：智能化专用型（Intelligent High Preformance VTL） 基于ARM结构的嵌入式系统，统一化管理，成为智能化专用型虚拟磁带库IHPV的基本特征，它将磁带库模拟管理软件固化在特别设计的ARM结构、嵌入式实时系统中，就形成了专用的虚拟磁带库设备。这标志着虚拟磁带库技术终于突破了操作系统和PC服务器架构的限制，使虚拟磁带库真正成为了一种独立的外设，并且真正将虚拟磁带库控制系统和磁盘存储阵列统一管理起来，其使用方式更接近普通磁带库，而其优越性能也体现得更加充分。