in-band vs. out-of-band

in-band vs. out-of-band

in-band(带内)和out-of-band(带外)的概念在存储领域中，在很多地方可以得到体现，譬如HP SVSP就是典型的基于SAN的out-of-band(带外)存储解决方案，同样在重复数据删除领域，也存在in-band(带内)和out-of-band(带外)的概念，主要的区别在于重复数据删除的时间点发生在数据写入之前和之后。

In-band，默认的SAN管理方式，它只对数据执行一次处理。而缺点是，它可能会减慢数据写入的速度。
Out-of-band，数据流和命令控制流完全分离，同时提供一个更易于管理的接口，便于管理和操作。

在重复数据删除方面

in-band重复数据删除在数据写入存储器时削减数据。尽管进程处理需要额外的处理能力从而可能扩大备份窗口的大小，但是in-band重复删除是有效率的，因为它只执行一次。
out-of-band重复数据删除是在数据存储完之后执行。这种方法不会影响备份窗口的大小，并且能缓解对CPU进程处理的关注，从而避免在备份服务器和存储器之间产生瓶颈，在执行过程中使用稍微多一点的磁盘空间，重复数据删除需要花费的时间可能要比实际的备份窗口长，但是可能会降低了磁盘性能。

【转】目前一些主要产品的方式和策略：
EMC和Symantec是第一批将去重技术纳入产品线的主要备份软件厂商，他们都是通过收购方式获得相关产品。EMC收购了Avamar Technologies，而Symantec的PureDisk产品线则来自于对Datacenter Technologies公司的收购活动。另外，像CommVault和IBM公司则选择了自主开发重复数据删除产品。

从技术类型上说，EMC和Symantec的产品都属于源端重复数据删除技术，就是说我们需要在计算机上安装Avamar或PureDisk 的agent代理程序，这个客户端负责与备份服务器端通信，识别冗余数据，并在发送到网络上传输之前将其删除。由于在每次备份过程中只有变化的数据字节才被发送到服务器端，所以源端重复数据删除非常适合小型远程办公室和移动设备的备份。

　　以上两家厂商提供的“源端重复数据删除”都是基于独立的产品，用户不必购买Symantec NetBackup或EMC NetWorker这种传统备份软件。因此，即使以前不是Symantec或EMC备份产品的用户，他们仍然能够享受重复数据删除技术带来的好处。不过，这也意味着如果用户想同时使用传统备份和重复数据删除，那就不得不购买且管理两个独立的产品。（即NetBackup和PureDisk，或者NetWorker和Avamar）。为此，Symantec率先做出了反应，在他的NetBackup 7.0中内建了源端去重功能，客户不需要再安装独立的PureDisk产品。EMC尚未实现产品的完全统一，虽然NetWorker和Avamar可以共享一个客户端，并且可以通过NetWorker来管理Avamar，但是Avamar仍然需要一个单独的服务器端程序。

　　另一方面，备份软件厂商也可以提供“目标端重复数据删除”。又是Symantec最早发布了此类产品。NetBackup备份软件的用户可以先将数据以标准的方式备份到介质管理服务器，然后在介质管理端用PureDisk进行去重处理（随着NetBackup 7.0的发布，这个功能就不需要安装独立的PureDisk了。）。

　　IBM也进入了重复数据删除市场，在Tivoli Storage Manager (TSM) 6.1中发布了基于后处理（post-process）方式的“目标端去重”功能，TSM主要对已经备份到磁盘上的数据进行处理。在IBM的基础产品线中，目前只有“目标端重复数据删除”产品，而且它所能达到的效果（去重比率）与我们能买到的其他产品相比也显得一般。

　　CommVault公司的Simpana备份软件，在去重功能上比较特殊，我们很难界定它应该属于“目标端去重”还是“源端去重”。通常情况下备份软件执行去重处理需要4个步骤：（1）将需要备份的文件分割成“片段”;（2）为每个“片段”计算一个“哈希”值（通常使用SHA–1算法）；（3）在已有的哈希值列表中查找，看看该“片段”是不是唯一的；（4）决定是否需要将这个“片段”发送到目标存储设备。“源端重复数据删除”产品在客户端执行全部以上四个步骤，而“目标端重复数据删除”装置则在备份设备或备份服务器上处理这四个过程。CommVault的设计是在客户端执行步骤1和2，步骤3和4在backup server端执行（backup server是CommVault的专用术语，相当于介质管理程序）。所以从这个角度看，我们很难说它到底属于哪个类型。

　　如果我们把分类的标准界定为数据离开客户端时是否为去重的状态，那么CommVault的Simpana应该被算作“目标端去重“一类。另外，只有Simpana是在客户端处理前两个步骤，这也使得它具备其他“目标端去重”产品没有的功能：在客户端进行数据压缩。大多数目标端去重系统不能很好地处理经过客户端压缩的数据，因为压缩会削弱去重处理能力，影响正确的数据分片以及分配指纹标记。由于Simpana是在客户端进行数据分片和分配指纹的处理，因此它能在网络传输之前进行数据压缩，同时又对去重没有负面影响。压缩并不会比“源端去重”节约更多的带宽，但在某些环境下它是有益的。