如何评估基于硬件的重复数据删除产品

基于硬件的重复数据删除产品能够减轻与基于软件的重复数据删除产品相关的处理负担。重复数据删除的特性也可以嵌入到其他的数据保护硬件中，例如备份平台，虚拟磁带库(VTL)系统，甚至是诸如网络附加存储(NAS)的一般目的的存储系统。这种方法一般并不侧重于缩短备份窗口或恢复目标的时间，但用户通常可以达到更高的压缩水平，使可用存储空间尽量最大化。

　　in-band(带内)重复删除和out-of-band(带外)重复删除的对比
　　重复数据删除既可以通过in-band方式处理也可以通过out-band处理。in-band的重复数据删除是在数据被写入存储时进行的。in-band重复删除一般很有效率，因为它只运行一次，虽然运行这个过程所需的额外能耗可能会延长备份窗口。

　　out-of-band重复数据删除是在数据被存储以后才开始进行的。这种方式不会影响备份窗口，并且可以减少对CPU运行导致备份服务器和存储之间出现瓶颈的担心。但是，out-of-band重复数据删除在重复数据删除处理过程中需要稍多一些的磁盘空间。而且，out-of-band重复删除也许需要比实际备份窗口更长的时间。磁盘的争用则是另一个问题，当用户在重复删除处理时访问存储，就会降低磁盘的性能。

　　硬件重复删除的优缺点
　　基于软件的重复删除侧重于在源上完成对冗余数据的删除，而基于硬件的重复删除则强调存储系统自己完成的数据的删减。基于硬件的重复删除不会带来带宽的节省，这种节省可能通过在源上进行重复删除来获得，但是它的压缩比更好，而且基于硬件的重复数据删除产品只需要较少的维护。

　　硬件重复数据删除设备的优点是高性能、可扩展性和相对无中断部署。备份软件通常将专用的设备看作一类“磁盘系统”，完全不知道在表面下正在进行的重复删除处理。小型企业或远程办公室往往会避免这种设备，因为他们的成本高于基于软件的重复删除，但是它们对于企业级部署来说是理想的。

　　基于硬件的重复删除也可以嵌入到其他的存储（目标）平台中。例如，重复数据删除经常是虚拟磁带库的一大特点。通过利用磁盘而不是磁带进行存储，VTL可以加速备份任务，增加重复数据删除后，可以使VTL将磁盘使用最大化。在许多情况下，VTL重复数据删除使用的是out-of-band方式。这是它的一个优势，因为所有VTL中的内容可以进行重复数据删除，达到很好的压缩比。不利的一面是重复数据删除的作用并不是立竿见影的。不过，当从备份服务器获得数据时，一些VTL产品嵌入了对备份数据完成in-band方式的重复数据删除的处理能力。

　　基于硬件的重复数据删除的产品
　　Data Domain公司是针对VTL和NAS系统推出多元化产品线的公司之一，包括从用于分支机构的DD410系列到企业级DDX系列。所有重复删除产品都采用in-band方式，使用SHA-1算法和另一种专有算法，以防止散列冲撞。比较索引被储存在高速非易失性RAM中。 相对而言，Data Domain公司的产品速度较慢，其传输速率只能达到110MBps，但是该公司宣称他们正致力于通过集群来提高其产品的数据传输率。

　　来自Diligent Technologies公司的企业级产品ProtecTier VTL也是采用in-band方式，使用一种专有算法。索引保存在光线通道磁盘中，可以潜在地提高检索性能。结果通过Diligent的性能数字显示，可以达到400MBps。与此相似，来自昆腾公司的DXi3500和DXi5500产品使用in-band检索方式，重复数据删除使用已经纳入昆腾公司StorNext文件系统的专利算法。相比之下，飞康软件公司单一实例存储库（SIR）的VTL产品则采用out-of-band检索方式，使用SHA-1和MD5算法。

　　在备份产品方面，ExaGrid Systems公司在它的NAS备份产品包括了以out-of-band方式进行重复删除的特性。ExaGrid公司对字节进行比较而不按位比较，所以可以简化索引，达到更快的搜索性能。ExaGrid还在备份软件产品中检查共同的数据模式，以提高搜索和检索性能。来自美国NEC公司的HydraStor网格备份产品使用一种专有的处理过程，在子文件级进行重复数据删除。NEC公司称，在性能不受影响的前提下，可以减少高达75%的存储使用量。

　　Network Appliance公司(NetApp)在其 NearStore R200和FAS存储系统中采用了基于块的重复数据删除。其重复删除是基于NetApp公司的先进单实例存储(ASIS)特性，使用已保存在每个数据块的一个16位校验值来查找冗余候选。然后将这些块在位级上进行比较，相同的块将被放弃。NetApp的存储系统将对主存储进行重复数据删除。