分类： 服务器与存储
2008-06-12 22:41:47
[ixpub网友:披发头陀] T级的备份兄弟们都怎么做？具体是一个扫描系统，存储图片持续增长可能最后到十几至几十T的东西，用什么方式来备份比较好？
[ixpub网友:wangyuep]从产品来讲用虚拟库，同时采用适当时备份任务。
[ixpub网友:orian]用虚拟带库成本太高，做近线备份还可以，再配一些大带库。现在一盘磁带裸容量可以达到400G，几十个T也不过百十来盘磁带而已。ibm的3584都不需要扩展柜。如果是图片，尽管总量大，改变却很少，tsm比较适合，省磁带空间。
[ixpub网友:prada_gu]orian呀,数据那么大,怎么可能用磁带来备呢,时间窗口和RTO如何控制呢？
[ixpub网友:orian]现在磁带海量、高速啊！80MB/s的吞吐量（还没算压缩），配上10个带机，800MB/s啊，1个T不过几分钟的事情。虚拟带库？那是骗低端用户的！（也不能说骗啦）
磁盘什么速度？通常也就是几百M吧！要是配那种SATA的磁盘……,唯一的优点是同时支持很多客户端并行。另外一些备份软件没有回收、收集功能，不希望把数据备份到多盘磁带上，因此也希望用虚拟带库。
我觉得如果只有两三个的时候，客户端很多，还是需要磁盘中间做缓冲的，但不一定是虚拟带库，比如很多软件直接支持磁盘文件格式，就用文件系统好了。如果都是大数据库的海量数据，配了十个八个的带机，虚拟带库就是个累赘了。
[ixpub网友:披发头陀]不知道磁带损坏的问题怎样？就是一盘磁带丢失了一部分数据，会不会整盘带子的备份都无效了？
[ixpub网友:orian]至少感觉比磁盘好。另外现在磁带又复杂的校验技术，只要不是磁带断了，出几个洞都没事。
但是磁带怕灰（这个影响比较大），怕潮湿，怕干燥 （这两个还没那么极端）。总体来说，如果普通环境，磁带成本比磁盘低很多，越大越低。磁盘的耗电也不可忽视（甚至是非常大）。
个人建议（尚未仔细核算）：
几个T以内的数据量，备份性能要求不高：带库，2个带机。
几个T以内的数据量，备份性能要求高：带库，2个带机，配合几十G以上的磁盘空间，但不要太多，而且内置的磁盘都可以（有raid保护），定期做迁移。
几十个T以内的数据量，备份性能要求不高：带库，根据备份窗口选择带机数量，对某些大量碎文件，客户端数量非常多（几十个以上），可以考虑用用一些磁盘空间，否则直接LANFree到磁带。
如果以上操作不能用LANfree，必须走lan，那么虚拟似乎有些用途，但实际上如果备份软件支持，直接用磁盘空间好了，为什么还要把磁盘再虚拟成磁带呢？
市场上一些虚拟带库可能由于是集成化的产品，包括了备份等，这样不用再单独配置软件，所以其实卖的是集成备份方案，减少了集成、维护、管理的复杂性，跟是否虚拟关系不大。
[ixpub网友:时间不够用] 我不同意orian的意见,在使用物理磁带和虚拟带库之间,还是倾向于用虚拟带库的。对读写的性能还是提高很多的，而且故障率也不高；物理带库经常器或是机械臂出问题，挂一盘磁带要找半天，磁带保存也容易受潮什么的而发生故障。在虚拟带库上，其实就是物理磁盘上，这些都是可以避免的。
上TB的数据，如果考虑备份/恢复窗口以及恢复时间的话，最好是采用同步/异步复制的方式，备用磁盘/磁带备份的方式，只能是等级最低的了，灾难发生时，能在多长时间内恢复很难把握。
[ixpub网友:orian]看来我们立场不同：最主要原因是我用tsm, 很少用veritas。你用veritas?
tsm里通常配一个磁盘存储池，磁带作为二级，因此就也就虚拟了。对于数据库一类的备份，通常是大文件，会直接写磁带，这时候lanfree写磁带的速度我觉得还不错。
mount磁带的时间确实是磁带的大问题，但通常也不会超过1分钟，除非非常繁忙的备份，原来还有磁带在里面，但也不会很长时间。
veritas缺省情况每个客户端写单独的一盘磁带，tsm中一个pool中大家写在一起（也可以通过参数调整），然后如果需要，后台再作整理（collection）所以磁带倒换的情况并不严重。
磁带机机械手故障稍频繁，毕竟是机械的东西，但是越大型的带库稳定性越高，有一些还配备有双机械手。而虚拟带库由于其起点，不会是高端的，中、低端居多，稳定性就其设计成本不会太高。
当然，我绝对没有舍虚拟带库而最好磁带的想法，否则我就是硬件销售了，专门卖带机的。实际选择还是需要根据需求选择（排名不分先后）：
1. 大文件还是碎文件 碎文件--〉虚拟带库
2. 备份客户端数量 多--〉虚拟带库
3. 恢复的频繁程度 频繁--〉虚拟带库
4. 备份的并行度 高--〉虚拟带库
5. 管理经验 低--〉虚拟带库
6. 总备份容量 少--〉虚拟带库
7. 钱 多---〉虚拟带库
8. 异地保存要求 没有--〉虚拟带库
9. 备份软件 （看软件特性）
如果选择相反，建议直接用磁带库
关于TB的备份，也没有一定的规则，看备份数据类型、备份窗口、性能要求等等，最好把情况说清楚。IT设计不是一把香灰，什么病都是一包，就是外观病症一样，也可能给你不同的药。
[ixpub网友:时间不够用]嗯,orian,现在市场上使用veritas的是比TSM高一些的；我具体没用过TSM,所以对它的一些特性也不大清楚，但一般大家看法，TSM备份配置复杂，恢复起来方便些；嗯，对的，具体采用哪种技术线路，要根据具体情况来分析，也不能一概而论的，每个用户都有自己不同的考虑的 ：）
[ixpub网友:wangyuep]推荐虚拟库并不是要取消原来物理带库，毕竟相对于磁盘来说磁带还是有着他固有的优势；其实虚拟带库只是在客户数据量比较大，而备份窗口又比较小的情况下的一个折中的方案，用磁盘速度较快的特性，来满足客户相对比较苛刻备份的需求，然后在其他的时间再将虚拟带库的内容迁移到物理带库中去，以便作为永久的归档来使用。
我的观点是物理带库是不能够取消的，虚拟带库只能是作为一个补充产品存在（至少暂时是这样）。毕竟从虚拟带库这个概念推出那一天开始就是把它定位在Nearline的产品，而不是online或者offline。
我没做过TSM的东西，但是听orian说的好像和虚拟带库的原理相差不大，但是不知道这个磁盘缓冲能够设多大。
[ixpub网友:orian]tsm原则上可以设置无限的磁盘缓冲（支持的上限，虚拟带库也有操作系统，也有上限，所以是一样的），位置也没有要求。
tsm实用一种file的设备，就如同一盘盘磁带，可以放到任何文件系统之上，当然需要做一些配置。只是现在这种磁盘缓冲对于lanfree支持不好（主要在低端windows客户端，不支持san 磁盘scsi resveration的情况下有问题），不如虚拟带库。
我没有任何对于虚拟带库的“不良”看法，但有一点是绝对不敢苟同的就是：虚拟带库比磁带快。这种说法太模糊，通常是在大量的小文件的时候，虚拟带库比较快，而大文件（每个image达到几百M以上）的时候，只要配置了合适的设备，相近价格的情况下，磁带绝对比虚拟带库快。
另外我也认为虚拟带库是个不错的产品，但如果只停留在“虚拟”有点大材小用，不过解决了两个备份中的问题：1。小文件备份速度；2。管理的复杂性。但实际上虚拟带库完全可以再走一步，例如做成一个虚拟的数据备份黑匣子，后端连接任何磁盘、带库，前端连接san和客户机，安装的时候自动分析系统资源，动态设置，就是把备份管理、备份策略设置更为简化、形象化，保存方式也多种多样，这样优点就突出了。有点类似ibm的retain 450/550之类，但它也不够好，比如不能支持任意磁盘，带库，不够“开放”。备份界面也还是没能够更人性化。更重要的是还是很贵……
[ixpub网友:wangyuep]其实虚拟磁带库我也只做飞康的产品，对于其他品牌的产品也不是很熟悉，所以我提到的虚拟磁带库基本上就是按照飞康的思路来说的。
1.虚拟磁带库实际上只是一个VTL的硬件头+若干个；所谓的VTL硬件头实际上就是一个安装了Linux操作系统的+VTL软件，后面连接的磁盘阵列也可以是不同厂家，不同型号的产品。当然了，在VTL硬件头后面也可以直接连接物理带库，同时可以通过VTL软件来实现虚拟带库与物理带库之间的同步。而在这之中，飞康的产品仅仅是提供VTL软件而已。我们现在在市场可以看到很多的虚拟带库产品都是一整套的解决方案，实际上都是其他厂商的一个Bundle产品，也就是说他们实际上是用XX的VTL软件+他们自己的磁盘阵列，这样可以增加他们的利润，例如xx（此处隐去－编者注）的VTL就是这样。
2.就飞康的VTL来说它与备份软件是完全独立的两个产品，两者没有任何关系，也就是说，VTL软件不管你前端用的是什么备份软件；同时，备份软件可不识别VTL产品，从备份软件上来看，VTL与物理带库之间没有任何区别。其实我觉得这样也挺好的，如果将两者之间建立起联系的话对备份来说会觉得很混乱，容易造成错误。
3.VTL还能够提供良好的远程容灾的功能。这个功能实际上就是靠两个VTL软件之间的功能来实现的。
[ixpub网友:时间不够用]备份的话,采用硬件的肯定还是比采用软件虚拟的性能高很多,应至少能提高40%吧,TSM软件即便也能提供虚拟带库的功能, 但它的性能还是不如硬件的
采用软件备份的话,理论值能到80MB/S。物理虚拟带库,可以达到240MB/S的。
[ixpub网友:orian]备份软件看怎么来配。如果做磁盘的lanfree (ibm是sanergy)， 也是可能达到的极限性能啊，没有什么理论差别。当然，最终结果还是看到底怎么配得硬件、软件（无论是虚拟带库还是备份软件自身）、系统架构。
单纯说那种技术好不太符合独立设计师、咨询专家的立场，通常背后有销售意图左右。设计师、咨询专家的最重要观点就是没有观点。
例如，token ring过时了，但不一定最一个项目就不可以采用。例如客户有一台mainframe还要“利旧”，如果采用新的cip卡，可能一块卡就几十万出去了，而且不一定能装，那还不如攒点旧的token ring bridge，将就用了。当然这是个极端，现实中，看情况下菜。
[ixpub网友:传真天下]我们的做法是：
采用的VSL 1002虚拟磁带库作近在线备份，吧VSL1002虚拟成了一个大的磁带库，可达到9.6个T以上，我们测试的备份速度和以太网一样快，然后选用了HP的LTO 2代技术的HP MSL2024磁带库，选用的是960的，每秒可到80M的速度，可以达到9.6T，如果压缩最大可到2倍的9.6T，我们是作的VOD流的备份，存储也是HP的，感觉用的不错。
[ixpub网友:nj_zhaoxu]采用分级备份方式吧。在线的数据在磁盘阵列柜中无可厚非,raid 5/6.近线建议采取虚拟磁带库来做,可以采用备份软件加插件的方式也可以购买硬件虚拟带库,后者预算要求稍微高点。离线的1-2个driver的LTO3的带库比较适合TB级的备份。
写在最后：
到此为止，不用我来做总结，相信各位网友也能对T级别海量数据备份到底该选用哪种产品和技术，心中应该有了一个大概的“准则”。虽然VTL是被许多人认为大有前景的技术，但并不会快速取代传统磁带的地位，至少近几年内不会。总之，没有哪种技术好或不好，具体实际的备份还要根据环境和数据块来选择。还是那句老话，只有适合自己的才是最好的。
