Chinaunix首页 | 论坛 | 博客
  • 博客访问: 53441
  • 博文数量: 81
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 878
  • 用 户 组: 普通用户
  • 注册时间: 2014-07-25 23:20
文章分类

全部博文(81)

文章存档

2017年(45)

2016年(20)

2015年(2)

2014年(14)

我的朋友

分类: Sybase

2017-12-28 21:23:01

工作中多多少少都会遇到UTF-8 BOM(后面直接叫BOM),有时第三方工具不支持就要自己去掉BOM,例如阿里云导出的SQL文件是有BOM的,但是Navicat不支持,这就要去掉BOM了。

后文所用的测试文件是一个阿里云导出的SQL文件,265M,测试时文件已缓存(time显示的 File system inputs接近0)

用sed去BOM

sed -e '1s/^\xef\xbb\xbf//' file

用time看一下sed方法耗时:

$ /usr/bin/time -v sed -e '1s/^\xef\xbb\xbf//' sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.33 System time (seconds): 0.11 Percent of CPU this job got: 98% Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.46 ...

User time较大,因为sed会对每一行都进行处理,但是实际上只有第一行有BOM,所以浪费了CPU。

sed还支持原地更新(-i):

$ /usr/bin/time -v sed -e '1s/^\xef\xbb\xbf//' sqlResult_1601835.sql -i ...
        User time (seconds): 1.31 System time (seconds): 3.89 Percent of CPU this job got: 71% Elapsed (wall clock) time (h:mm:ss or m:ss): 0:07.32 ...

因为会写入文件,所以会更慢,用strace可以发现,sed是通过输出到临时文件然后覆盖原文件实现更新的

open("sqlResult_1601835.sql", O_RDONLY) = 3 open("./sedGlXm60", O_RDWR|O_CREAT|O_EXCL, 0600) = 4 ... rename("./sedGlXm60", "sqlResult_1601835.sql")

用tail去BOM

tail --bytes=+4 file

用tail可以直接跳过BOM,然后直接复制文件内容,减少了不必要的CPU处理:

$ /usr/bin/time -v tail --bytes=+4 sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.01 System time (seconds): 0.12 Percent of CPU this job got: 96% Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.14 ...

但是tail必须自己重定向到新文件再覆盖旧文件。

strip-bom

为了结合sed和tail的优点,我写了一个strip-bom,支持原地更新文件。

先测试一下重定向:

$ /usr/bin/time -v php strip-bom.phar sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.11 System time (seconds): 0.22 Percent of CPU this job got: 98% Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.35 ...

只比sed快了20%,User time少了但System time增加了。因为是个循环读写的过程,每次循环就是一次read和write调用,所以我增加了一个参数来调节每次读的块大小,可以减少循环次数和系统调用,可以比sed快60%:

$ /usr/bin/time -v php strip-bom.phar -b 16384 sqlResult_1601835.sql > /dev/null
        ...
        User time (seconds): 0.06 www.97yingyuan.org System time (seconds): 0.12 Percent of CPU this job got: 96% Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.19

测试原地更新,比sed快30%:

$ /usr/bin/time -v php strip-bom.phar -i -b 16384 sqlResult_1601835.sql User time (seconds): 0.23 System time (seconds): 0.67 Percent of CPU this job got: 17% Elapsed (wall clock) time (h:mm:ss or m:ss): 0:05.11

copy_file_range

Linux 4.5增加了一个系统调用:

ssize_t copy_file_range(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);

可以直接在两个文件描述符间复制内容,而且通常只要一个系统调用,所以可以参考sed复制到临时文件,然后覆盖旧文件,实现代码在:Gist点击预览

测试:

$ /usr/bin/time -v ./copy_file_range sqlResult_1601835.sql ...
        User time (seconds): 0.00 System time (seconds): 2.47 Percent of CPU this job got: 37% Elapsed (wall clock) time (h:mm:ss or m:ss): 0:06.52

减少了系统调用也只比sed快一点,复制到临时文件还是比strip-bom原地更新慢。

阅读(1562) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册