Chinaunix首页 | 论坛 | 博客
  • 博客访问: 392986
  • 博文数量: 89
  • 博客积分: 3176
  • 博客等级: 中校
  • 技术积分: 1205
  • 用 户 组: 普通用户
  • 注册时间: 2007-08-15 10:08
文章分类

全部博文(89)

文章存档

2011年(17)

2010年(19)

2009年(35)

2008年(18)

分类: 系统运维

2011-10-13 13:52:34

######################
#
#   pbzip2 / mgzip
#
######################


网址:


工作中,遇到了一个要压缩大量数据库文件的工作,用bzip2压缩时,发现需要大量时间,我测试一下压缩了40G的库文件,使用了20分钟,而我实际要压缩20T的库文件。

机器为4颗物理CPU,4核,双线程。在TOP中显示为32颗CPU。

发现,因bzip2为但进程作业,故只占用了一个CPU进程。 如图:





使用pbzip2的多核版本,情况解决,如图:






补充:
1)
之前在没有找到pbzip2时,利用shell脚本,来同时开启多个进程,也可实现。



2)
说一下pbzip2的压缩率,mysql数据库文件,原大小为42G,压缩后为5.7G,压缩率为7%

阅读(2069) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~