2008年（8065）
分类： 服务器与存储
2008-12-07 14:08:49
硬盘的困局：谁来拯救？
在这套组合中，硬盘的发展已经稍显缓慢，无论是SATA、SAS还是FC磁盘，或是碟片密度的一次次提升，能够起到的作用已经难以成为决定性因素，虽然固态硬盘的出现正在强势的冲击传统磁盘的市场，但对于固态硬盘的应用，在价格呈现极快速下跌之前，还很难让企业做出彻底转型存储介质的决定，而另一方面，以传统磁盘对磁带的冲击来说，我们仍然看到的磁带的存在和合理的应用，因此，我可以肯定地说，至少以目前的眼光来看，传统磁盘仍然将在未来五到十年占据企业存储的核心位置，这在上文提到的文章中，我曾经引据日立公司的高级副总裁兼任平台业务信息和通讯系统集团首席执行官NAOYA TAKAHASHI的观点讨论过。
于是，当传统磁盘仍将伴随我们很长一段时间的事实摆在我们面前的时候，隐忧逐渐显现，传统磁盘的容量虽仍有优势，但是性能却与固态硬盘相差甚远，耗电也更大，而为了保证性能和可靠性所不得不采取的“人海战术”却带来了更多的耗电。更可怕的是，当我们的磁盘系统数量和容量都飞速增长时，IDC却一直用一份惊人的报告警告我们：自2007年开始，全球的存储容量的增长已经低于数据的增长量，而另一方面，当经济形势转冷，金融危机日益加重的时候，存储容量的购买也就免不了出现急速的下滑。
由此，从耗电、性能、存储容量以及最终的采购成本来说，最关键的问题在于，如何降低存储数据的容量，这也就是为什么，重复数据删除将会成为传统磁盘最强劲的那一棵救命稻草。
重复数据删除：不需要关心什么？
对于重复数据删除技术来说，我认为有些东西并不十分需要用户去关心，有些更重要的内容需要用户去考察、对比和测试，但是在某些问题上，大可不必太过纠缠。
在之前赛门铁克用户大会的直播中，在座的用户向与会专家提出了一个关于重复数据删除技术的“老问题”：“删除重复数据的过程中，数据是否会出现丢失和损坏？或者说，我的数据能不能安全的进行重复数据删除过程？”
对于这样的问题，实际上仍然充斥在用户心中，但是这大可不必操心，从原理上来说，大多数现有重复数据删除产品都是在块级操作，即用新块比较上次存储的块，以判断是否存储过相同的块。如果上次存储过相同的块，则指针将指向这个存储的块，“新”块将被丢弃。指针指向的错误率和数据块丢失的概率从原理上来看都是微乎其微的，即使有问题，从目前的应用情况来看，各个厂商已经解决了这个问题，我们并未收到有关用户关于数据删除错误的报告。（当然，还是有特例情况，这种情况被称作哈希冲突，在后面会详细探讨这个问题。）实际上，从技术原理和实际应用情况上来说，这就像为何RAID 6是否被过度寄予厚望的讨论一样（RAID 6的出现主要是为了避免一个控制器下的两块硬盘同时出现故障的可能性，但这种情况从目前硬盘可靠性的角度来看，几乎微乎其微。），这只是概率问题，只存在于“理想环境”中。
另一方面，在应用重复数据删除技术的时候，重复数据删除比率并不是一个最重要的问题，用户需要关心的问题和难点远远不是删除比能够涵盖得了的，在我看来，即使是2：1的删除比就已经是非常有用的了——如果一项技术能够将你需要存储的数据缩减一半，那么也就意味着，你在存储容量的投入上，可以减少50%，这对于企业的IT人员来说已经是十分优异的“汇报材料”了。但现在的问题是，这能够缩减的一半数据到底是什么数据，处在什么范围，这才是你应该了解的，否则仅仅将你10%的数据以超过原有存储速度10倍的速度，即使缩减到了原有的百分之一，作用又能有几何呢？
你所需要关心的几点
正如前面所说，重复数据删除技术所需要关心的地方早已经不再是重复删除比和技术实现的安全性，对于一项着实年轻的技术来说，用户需要关心的地方，基本上应该集中在以下几点：
首先，一个高效的重复数据删除解决方案应该对当前IT环境的影响/中断越小越好，甚至，要成为“透明的”，即是否能够在部署、启用以及应用过程中对于用户的架构不产生较大影响，对备份、恢复和归档等应用不产生影响，对用户的使用习惯不产生影响，这正如TechValidate的首席执行官Brad O'Neill所言：“绝大多数最终用户都很担心重复数据删除技术是否能够与它们目前的环境兼容。它们还比较关注如何以一种可控的方式来配置这项技术以及数据完整性和可恢复性等问题。”
其次，其可靠性问题仍然不能够忽视，虽然在前文中我们提到过，目前重复数据删除技术的方式基本上没有太大的可能会出现删除错误的问题，但是仍然需要一定的防护措施（这与RAID 6的出现道理是一样的。）
重复数据删除技术会出现一种极小概率事件：“哈希冲突”。NetApp 存储效率资深营销经理 Larry Freeman曾谈到，重复数据删除技术目前最常用的方法是计算每个块的指纹，即每个数据块中包含的哈希值。如果两个块有相同的指纹，则通常认为它们是相同的。但是，两个不同的数据块也可能具有相同的指纹或哈希值，这种可能性虽然很低，但却是存在的。我们称之为"哈希冲突"，这将导致唯一的数据块被意外删除。
正如我们所预料，降低哈希冲突的可能性必需有更为复杂的算法，这通常会耗费更多的 CPU 资源来计算哈希值，并会得出较大的输出值。显然，可靠性与速度之间存在某个平衡点。此外，哈希值越长，指纹存储所需的空间也越大。
在评估重复数据删除技术时，您必需清楚供应商识别重复数据的方式，以及所选算法带来哈希冲突的风险。很多供应商辨称磁盘故障、磁盘驱动器或磁带错误造成数据块损坏的概率要比哈希冲突的概率高。他表示“我不知道这是否只是令人宽慰的想法，但我相信绝大部分人都希望将风险降至最低。”不过，他同时也给予了用户足够的安慰：重复数据删除厂商虽然大部分都采用指纹算法，但是发生哈希冲突时，我们会首先对两个块进行逐个字节的比较，核查它们是否完全相同，然后才会决定是否废弃任何块——这个问题最核心的地方，是你必须要去了解你的重复数据删除技术供应商在哈希冲突问题上做的到底有多好？
最后，我们需要回到所有IT技术必须要考虑的问题：性能。分析机构TechValidate的研究表明，46%的最终用户表示他们愿意将重复数据删除作为传统存储产品的一个新功能来使用，而44%的人希望把它作为一款新的独立产品来使用。这说明，已经有至少86%的用户在考虑使用重复数据删除技术，这说明了重复数据删除技术的用户接受度已经足够高了，因此，现在我们必须要来谈论性能的问题。
对于性能来说，解决办法一般有两个：硬件板卡和集群解决方案。目前，硬件版卡的代表厂商就是Hifn和其主要的竞争对手Cavium，以Hifn为例，其拥有一款称为高速数据缩减(DR)的硬件板卡产品线，其最新的DR250和DR255两款产品属于其中的佼佼者：包括重复数据删除、数据加密和压缩三种功能，不过Hifn的兼容卡并不是同时执行全部的三个功能。反之，压缩和加密能够同时执行，散列――也就是分割数据流以确定重复部分的过程――必须单独处理。不过，Hifn表示正计划在2008年第四季度发布新的兼容卡，届时这三项功能可同时执行，且处理速度在1GB/s。
另一种方式就是以飞康为代表的集群重复数据删除解决方案，今年四月，飞康推出了IPStor软件的6.0版本，其中包括了向NSS的升级、增加了飞康的持续数据保护功能以及VTL解决方案。升级功能中包括针对CDP和NSS的集群重复数据删除功能，这让飞康成为第一家具有对多阵列的重复数据删除技术，而不仅仅是对一个驱动器进行重复数据删除。
对于集群化的重复数据删除来说，优势在于两点：第一，跨集群的重复数据删除将能够轻易获得更好的删除比率，从而提高系统的效率；第二，更好的性能，集群从诞生之日起，最主要的优势无外乎性能和数据保护，而在重复数据删除技术的应用上，最主要的优势就在于性能的提升——恐怕谁也不想删除数据需要缓慢的24小时或是更长时间，否则，无论是在线还是后处理方式恐怕都不是我们想要的。
