2008年(8065)
分类: 服务器与存储
2008-08-31 12:58:07
所谓"数据压缩",是指在一定的数据存储空间要求下,将相对庞大的原始数据,重组为满足前述空间要求的数据集合,使得从该数据集合中恢复出来的信息,能够与原始数据相一致,或者能够获得与原始数据相同的使用品质。相对于未采用压缩技术,采用不同的压缩技术之后,存储和传输中的数据会显著缩小,网络系统和存储系统的利用率因此提高。
从实际应用来说,"数据压缩"可从两方面来衡量:数据压缩速度和数据压缩率。当数据压缩应用于网络传输时,人们通常关注的是速度快慢;当数据压缩应用于数据存储中,则问题的焦点转嫁到压缩率,即压缩后数据的大小。看似不相关的两个方面,其本质上是相辅相成的。一般桌面PC上广泛采用的ZIP和RAR算法,并不适合于存储应用。这主要是由于,ZIP和RAR算法本身的实现复杂度,使得这两种算法难以借力硬件实现。遗憾的是,软件实现带来的性能偏低,难以满足现有的存储系统高性能,低能耗的诉求。
比较图示:
特征 |
LZS算法 |
ZIP/RAR算法 |
压缩速度 |
快 |
慢 |
解压缩速度 |
快 |
慢 |
平均压缩比 |
一般 |
高 |
常用的文件类型和压缩算法:
文件类型 |
压缩算法 |
文本 |
LZ系列算法 |
图像 |
JPEG2000无损压缩算法 |
视频 |
RealPlayer公司无损压缩算法,Apple公司无损压缩算法 |
-来源: SNIA 教学课程 《Benefits of Hardware Data Compression in Storage Networks》
综上图表中可以看出: 一般数据,主要是字符内容的压缩通常采用LZ系列的压缩算法,而Hifn公司拥有专利的LZS算法正是基于LZ系列压缩算法的基础上所做的扩展。LZS压缩算法既继承了LZ算法压缩率的诸多特性,同时兼备硬件逻辑实现简便,更高的压缩性能的良好品质。值得称道的是,LZS算法还会自动检测数据是否已经压缩,充分避免对已经压缩的数据进行重复压缩操作而导致的数据膨胀,即对于图片,音频和视频等多媒体文件,以及部分已经压缩过的文件,消除重复压缩导致数据无谓膨胀的影响。正是因为LZS压缩算法的优异特性,该算法已经被广泛深入地应用于网络和存储各个领域,并被ANSI,IETF,ATM论坛,Frame Relay论坛等国际标准组织和技术联盟采纳为业界标准的一部分。
作为信息优化和保护的推动者,美国Hifn公司在数据优化领域,十余年来锐意进取,倾力开发,成功推出了创新型硬件加速产品DR系列,为企业级用户降低扩容成本,改善存储系统的性能,降低整个存储系统的功耗,最终实现绿色扩容的目标贡献自身杰出的数据优化和节能表现,成为EMC、 Netapp、 HP等全球重要存储网络设备领先厂商信赖的对象.
经典案例:
最近,国内某著名存储厂商作为Hifn在国内重要的合作伙伴,与Hifn展开在硬件加速压缩技术方面的合作,使企业级客户面临的存储备份难题迎刃而解。采用Hifn公司硬件压缩技术之后,其 VTL系统设备不仅提升了原有数据备份速度,同时更有效的减小用户备份窗口,降低对磁盘空间的耗用。
对于同样的存储空间要求,采用硬件压缩之后,实际部署的物理存储空间能够减小一半甚至更多,显著提高存储空间的利用率,硬盘,驱动器及其他配件也得以减免,为设备托管用户避免了更多的设备资源上的浪费,极大节省了托管费用。性能不变,功耗减半,同时因控制了硬盘驱动器的数量,整个存储系统的可靠性大大增强。