Chinaunix首页 | 论坛 | 博客
  • 博客访问: 891496
  • 博文数量: 179
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1546
  • 用 户 组: 普通用户
  • 注册时间: 2015-01-27 11:05
个人简介

MySQL工程师 QQ:1815357042

文章分类

全部博文(179)

文章存档

2015年(179)

分类: LINUX

2015-02-09 12:05:39

常用的文本处理命令
这一节我们将介绍这几个命令tr(注意不是tar),col,join,paste。
实际这一节是上一节关于能实现管道操作的命令的延续,所以我们依然将结合管道来熟悉这些命令的使用。


文本处理命令
1.tr命令
tr命令可以用来删除一段文本信息中的某些文字。或者将其进行转换


使用方式:
tr [option]...SET1 [SET2]
常用的选项有:
选项 说明
-d 删除和set1匹配的字符,注意不是全词匹配也不是按字符顺序匹配
-s 去除set1指定的在输入文本中连续并重复的字符
操作举例:

# 删除 "hello shiyanlou" 中所有的'o','l','h'
  1. [root@localhost ~]# echo 'hello shiyanlou' | tr -d 'olh'
  2. e siyanu

# 将"hello" 中的ll,去重为一个l
  1. [root@localhost ~]# echo 'hello' | tr -s 'l'
  2. helo

# 将输入文本,全部转换为大写或小写输出
  1. [root@localhost ~]# cat /etc/passwd | tr '[:lower:]' '[:upper:]'
  2. ROOT:X:0:0:ROOT:/ROOT:/BIN/BASH
# 上面的'[:lower:]' '[:upper:]'你也可以简单的写作'[a-z]' '[A-Z]',当然反过来将大写变小写也是可以的



思考练习
还记得我们在讲打包压缩那一节提到windows/dos与linux/unix文本文件一些特殊字符不一致的问题
如断行符windows为CR+LF(\r\n),unix/linux为LF(\n),你使用cat -A 文本 你可以看到文本中包含的不可见特殊字符。
linux的\n表现出来就是一个$而windows/dos的表现为^M$
你可以直接使用dos2unix和unix2dos工具在两种格式之间进行转换,使用file命令可以查看文件的具体类型。
不过现在希望你在不使用上述两个转换工具的情况下,使用前面学过的命令手动完成dos文本格式到unix文本格式的转换。
  1. [root@localhost ~]# cat -A /etc/passwd
  2. root:x:0:0:root:/root:/bin/bash$
  3. bin:x:1:1:bin:/bin:/sbin/nologin$
  4. daemon:x:2:2:daemon:/sbin:/sbin/nologin$

  1. [root@localhost ~]# file /etc/passwd
  2. /etc/passwd: ASCII text



col命令
col命令可以将Tab换成对等数量的空格建,或反转这个操作。这用来格式化代码很爽啊


使用方式:
col [option]

常用的选项有:
选项 说明
-x 将Tab转换为空格
-h 将空格转换为Tab(默认选项)

操作举例:
# 查看/etc/protocols中的不可见字符,可以看到很多^I,这其实就是Tab键转义成可见字符的符号
  1. [root@localhost ~]# cat -A /etc/protocols |less
  2. # /etc/protocols:$
  3. # $Id: protocols,v 1.9 2009/09/29 15:11:55 ovasik Exp $$
  4. #$
  5. # Internet (IP) protocols$
  6. #$
  7. #^Ifrom: @(#)protocols^I5.1 (Berkeley) 4/17/89$
  8. #$
  9. # Updated for NetBSD based on RFC 1340, Assigned Numbers (July 1992).$
  10. # Last IANA update included dated 2009-06-18$
  11. #$
  12. # See also http://www.iana.org/assignments/protocol-numbers$
  13. $
  14. ip^I0^IIP^I^I# internet protocol, pseudo protocol number$


# 使用col -x将/etc/protocols中的Tab转换为空格,然后再使用cat查看,你发现^I不见了
  1. [root@localhost ~]# cat /etc/protocols | col -x | cat -A |less
  2. # /etc/protocols:$
  3. # $Id: protocols,v 1.9 2009/09/29 15:11:55 ovasik Exp $$
  4. #$
  5. # Internet (IP) protocols$
  6. #$
  7. # from: @(#)protocols 5.1 (Berkeley) 4/17/89$
  8. #$
  9. # Updated for NetBSD based on RFC 1340, Assigned Numbers (July 1992).$
  10. # Last IANA update included dated 2009-06-18$
  11. #$
  12. # See also http://www.iana.org/assignments/protocol-numbers$



join命令
学过数据库的用户对这个应该不会陌生,这个命令就是用于将两个文件中包含相同内容的那一行合并在一起
Linux之父:"Talk is chea'p, show me the code"
Talk is cheep 空谈廉价


使用方式:
join [option]... file1 file2

常用的选项有:
选项 说明
-t 指定分隔符,默认为空格
-i 忽略大小写的差异
-1 指明第一个文件要用哪个字段来对比,,默认对比第一个字段
-2 指明第二个文件要用哪个字段来对比,,默认对比第一个字段

操作举例:
# 创建两个文件
  1. [root@localhost ~]# echo '1 hello' > file1
  2. [root@localhost ~]# echo '1 dajiahao' > file2
  3. [root@localhost ~]# join file1 file2
  4. 1 hello dajiahao
file1 和file2已经在硬盘上了

# 将/etc/passwd与/etc/shadow两个文件合并,指定以':'作为分隔符
  1. [root@localhost ~]# sudo join -t':' /etc/passwd /etc/shadow
  2. root:x:0:0:root:/root:/bin/bash:$6$e34KNTFG6IPX.VlS$PW0cbk8NaMQXd16lO3BynyzpDKKoXv3Hl6GScd6AVlx9pBR.3yy1DpiNLPCa4tYkvvHQ/IYNOG.pXdELgBczb.:16461:0:99999:7:::


# 将/etc/passwd与/etc/group两个文件合并,指定以':'作为分隔符, 分别比对第4和第3个字段
  1. [root@localhost ~]# sudo join -t':' -1 4 /etc/passwd -2 3 /etc/group
  2. 0:root:x:0:root:/root:/bin/bash:root:x:
  3. 1:bin:x:1:bin:/bin:/sbin/nologin:bin:x:bin,daemon



paste命令
paste这个命令实际就是上面join的懒人版,它是在不对比数据的情况下,简单粗暴的将多个文件合并一起,以Tab隔开


使用方式:
paste [option] file...
常用的选项有:
选项 说明
-d 指定合并的分隔符,默认为Tab
-s 不合并到一行,每个文件为一行


操作举例:
指定合并的分隔符:
  1. [root@localhost ~]# paste -d ':' file1 file2
  2. 1 hello:1 dajiahao

不合并到一行
  1. [root@localhost ~]# paste -s file1 file2
  2. 1 hello
  3. 1 dajiahao




小结
上面这些命令不是所有你都会经常用到,不过你不得不承认的是它们确实很实用,熟练掌握之后,可以为你减轻很多工作量,
试想你不停的用鼠标操作在gedit里面复制粘贴赋值粘贴,将两个文件的内容合并为一个文件,这原本只需要一个命令就能完成的事情。



阅读(1755) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~