######################
#
# pbzip2 / mgzip
#
######################
网址:
工作中,遇到了一个要压缩大量数据库文件的工作,用bzip2压缩时,发现需要大量时间,我测试一下压缩了40G的库文件,使用了20分钟,而我实际要压缩20T的库文件。
机器为4颗物理CPU,4核,双线程。在TOP中显示为32颗CPU。
发现,因bzip2为但进程作业,故只占用了一个CPU进程。 如图:
使用pbzip2的多核版本,情况解决,如图:
补充:
1)
之前在没有找到pbzip2时,利用shell脚本,来同时开启多个进程,也可实现。
2)
说一下pbzip2的压缩率,mysql数据库文件,原大小为42G,压缩后为5.7G,压缩率为7%
阅读(2032) | 评论(0) | 转发(0) |