Chinaunix首页 | 论坛 | 博客
  • 博客访问: 951087
  • 博文数量: 104
  • 博客积分: 1919
  • 博客等级: 上尉
  • 技术积分: 1910
  • 用 户 组: 普通用户
  • 注册时间: 2010-12-21 16:33
文章分类
文章存档

2016年(4)

2015年(1)

2014年(6)

2013年(16)

2012年(27)

2011年(49)

2010年(1)

分类: LINUX

2012-09-17 09:30:09

本文主要说一些正则的基本语法,并且结合linux的各种小工具(egrep、sed、awk)列举一些使用实例。

 

一、基本语法

正则的基本语法就大概是下面这些,但是正则远不止这些,甚至可以写一本书,当然了,我们这里只列举一些简单的

用法,这些已经可以解决大部分实际问题了。


1、字符类

字符 含义 举例
. 匹配任意一个字符
abc. 可以匹配abcd 、abc9 等
[] 匹配括号中的任意一个字符
[abc]d 可以匹配ad 、bd 或cd
- 用在[]中,表示字符范围
[0-9a-fA-F] 可以匹配一位十六进制数字
^ 如果位于[]的开头,则匹配除去括号中字符之外的一切字符
[^xy] 匹配除xy 之外的任一字符,因此[^xy]1 可以匹配a1 、b1 但不匹配x1 、y1
[[:xxx:]] grep 工具预定义的一些命名字符类 [[:alpha:]] 匹配一个字母,[[:digit:]] 匹配一个数字


2、数量限定符

字符 含义 举例
? 紧跟在它前面的单元匹配零次或一次
[0-9]?/.[0-9] 匹配0.0 、2.3 、.5 等,由于. 在正则表达式中是一个特殊字符,所以需要用/ 转义一下,取字面值
+ 紧跟在它前面的单元匹配一次或多次
[a-zA-Z0-9.-_]+@[a-zA-Z0-9.-_]+/.[a-zA-Z0-9.-_]匹配email
* 紧跟在它前面的单元匹配零次或多次
[0-9][0-9]* 匹配至少一位数字,等价于[0-9]+ ,[a-zA-Z_]+[a-zA-Z_0-9]* 匹配C语言的标识符
{N} 紧跟在它前面的单元应精确匹配N次 [1-9][0-9]{2} 匹配从100 到999 的整数
{N,} 紧跟在它前面的单元至少要匹配n次
[1-9][0-9]{2,} 匹配三位以上(含三位)的整数
{,M} 紧跟在它前面的单元至多匹配m次
[0-9]{,1}和[0-9]?意义一样,
{N,M} 紧跟在它前面的单元至少匹配n次,至多匹配m次
[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.[0-9]{1,3}/.用于匹配ip地址


3、位置限定符

字符 含义 举例
^ 匹配行首的位置 ^content匹配以content开头的行
$ 匹配行末的位置 :$匹配以:结尾的行,^$匹配空行
/< 匹配单词开头的位置 /
/> 匹配单词结尾的位置 p/> 匹配leap ... ,但不匹配parent 、sleepy
/b 匹配单词开头或结尾的位置 ap/b匹配leap,/ble匹配leap,/bat/b 匹配... at ... ,但不匹配cat 、atexit 、batch
/B 匹配非单词开头和结尾的位置 /Bat/B 匹配battery ,但不匹配... attend 、hat ...

 

4、其他特殊字符

字符 含义 举例
/ 转义字符,普通字符转义为特殊字符,特殊字符转义为普通字符 普通字符< 写成/< 表示单词开头的位置,特殊字符. 写成/. 以及/ 写成// 就当作普通字符来匹配
() 将正则表达式的一部分括起来组成一个单元,可以对整个单元使用数量限定符 ([0-9]{1,3}/.){3}[0-9]{1,3} 匹配IP地址
| 连接两个表达式,表示或的关系
n[o-either]可以匹配no或neither

 

 

二、小工具


1、grep/egrep

grep 是一种查找过滤工具,正则表达式在grep 中用来查找符合模式的字符串。

egrep相当于grep -E,表示采用Extended正则表达式语法。grep的正则表达式有Basic和 Extended两种规范

上述列举的正则表达式语法都适用于egrep。而grep的语法则相对简陋一些,?+(){}|都只是一些匹配字符了。

 

2、sed

sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用非常普遍,也就是把前一个程序的输出引入sed的输入,经过一系列编辑命令转换为另一种格式输出。sed和vi都源于早期UNIX的ed工具,所以很多sed命令和vi的末行命令是相同的。

 

在正常情况下,sed将待处理的行读入模式空间,脚本中的命令就一条接着一条的对该行进行处理,直到脚本执行完毕,然后该行被输出,模式空间清空;然后重复刚才的动作,文件中的新的一行被读入,直到文件处理完备。

 

看了很多写sed的就属鸟哥写的最好了,摘录一下:

  1. [root@linux ~]# sed [-nefr] [动作]  
  2. 参数∶  
  3. -n  ∶使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN   
  4.       的资料一般都会被列出到萤幕上。但如果加上 -n 参数后,则只有经过  
  5.       sed 特殊处理的那一行(或者动作)才会被列出来。  
  6. -e  ∶直接在指令列模式上进行 sed 的动作编辑;  
  7. -f  ∶直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的   
  8.       sed 动作;  
  9. -r  ∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)  
  10. -i  ∶直接修改读取的档案内容,而不是由萤幕输出。  
  11.   
  12. 动作说明∶  [n1[,n2]]function  
  13. n1, n2 ∶不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作  
  14.          是需要在 10 到 20 行之间进行的,则『 10,20[动作行为] 』  
  15.   
  16. function 有底下这些咚咚∶  
  17. a   ∶新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~  
  18. c   ∶取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!  
  19. d   ∶删除,因为是删除啊,所以 d 后面通常不接任何咚咚;  
  20. i   ∶插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);  
  21. p   ∶列印,亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作~  
  22. s   ∶取代,可以直接进行取代的工作哩!通常这个 s 的动作可以搭配  
  23.       正规表示法!例如 1,20s/old/new/g 就是啦!  
  24. 范例∶  
  25.   
  26. 范例一∶将 /etc/passwd 的内容列出,并且我需要列印行号,同时,请将第 2~5 行删除!  
  27. [root@linux ~]# nl /etc/passwd | sed '2,5d'  
  28.      1  root:x:0:0:root:/root:/bin/bash  
  29.      6  sync:x:5:0:sync:/sbin:/bin/sync  
  30.      7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown  
  31. .....(后面省略).....  
  32. # 看到了吧?因为 2-5 行给他删除了,所以显示的资料中,就没有 2-5 行棉~  
  33. # 另外,注意一下,原本应该是要下达 sed -e 才对,没有 -e 也行啦!  
  34. # 同时也要注意的是, sed 后面接的动作,请务必以 '' 两个单引号括住喔!  
  35. # 而,如果只要删除第 2 行,可以使用 nl /etc/passwd | sed '2d' 来达成,  
  36. # 至于第 3 到最后一行,则是 nl /etc/passwd | sed '3,$d' 的啦!   
  37.   
  38. 范例二∶承上题,在第二行后(亦即是加在第三行)加上『drink tea?』字样!  
  39. [root@linux ~]# nl /etc/passwd | sed '2a drink tea'  
  40.      1  root:x:0:0:root:/root:/bin/bash  
  41.      2  bin:x:1:1:bin:/bin:/sbin/nologin  
  42. drink tea  
  43.      3  daemon:x:2:2:daemon:/sbin:/sbin/nologin  
  44. # 嘿嘿!在 a 后面加上的字串就已将出现在第二行后面棉!那如果是要在第二行前呢?  
  45. # nl /etc/passwd | sed '2i drink tea' 就对啦!  
  46.   
  47. 范例三∶在第二行后面加入两行字,例如『Drink tea or .....』『drink beer?』  
  48. [root@linux ~]# nl /etc/passwd | sed '2a Drink tea or ....../  
  49. > drink beer ?'  
  50.      1  root:x:0:0:root:/root:/bin/bash  
  51.      2  bin:x:1:1:bin:/bin:/sbin/nologin  
  52. Drink tea or ......  
  53. drink beer ?  
  54.      3  daemon:x:2:2:daemon:/sbin:/sbin/nologin  
  55. # 这个范例的重点是,我们可以新增不只一行喔!可以新增好几行~  
  56. # 但是每一行之间都必须要以反斜线 / 来进行新行的增加喔!所以,上面的例子中,  
  57. # 我们可以发现在第一行的最后面就有 / 存在啦!那是一定要的喔!  
  58.   
  59. 范例四∶我想将第2-5行的内容取代成为『No 2-5 number』呢?  
  60. [root@linux ~]# nl /etc/passwd | sed '2,5c No 2-5 number'  
  61.      1  root:x:0:0:root:/root:/bin/bash  
  62. No 2-5 number  
  63.      6  sync:x:5:0:sync:/sbin:/bin/sync  
  64. # 没有了 2-5 行,嘿嘿嘿嘿!我们要的资料就出现啦!  
  65.   
  66. 范例五∶仅列出第 5-7 行  
  67. [root@linux ~]# nl /etc/passwd | sed -n '5,7p'  
  68.      5  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin  
  69.      6  sync:x:5:0:sync:/sbin:/bin/sync  
  70.      7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown  
  71. # 为什么要加 -n 的参数呢?您可以自行下达 sed '5,7p' 就知道了!(5-7行会重复输出)  
  72. # 有没有加上 -n 的参数时,输出的资料可是差很多的喔!  
  73.   
  74. 范例六∶我们可以使用 ifconfig 来列出 IP ,若仅要 eth0 的 IP 时?  
  75. [root@linux ~]# ifconfig eth0  
  76. eth0      Link encap:Ethernet  HWaddr 00:51:FD:52:9A:CA  
  77.           inet addr:192.168.1.12  Bcast:192.168.1.255  Mask:255.255.255.0  
  78.           inet6 addr: fe80::250:fcff:fe22:9acb/64 Scope:Link  
  79.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1  
  80. .....(以下省略).....  
  81. # 其实,我们要的只是那个 inet addr:..那一行而已,所以棉,利用 grep 与 sed 来捉  
  82. [root@linux ~]# ifconfig eth0 | grep 'inet ' | sed 's/^.*addr://g' | /  
  83. > sed 's/Bcast.*$//g'  
  84. # 您可以将每个管线 (|) 的过程都分开来执行,就会晓得原因棉!  
  85. # 去头去尾之后,就会得到我们所需要的 IP 亦即是 192.168.1.12 棉~  
  86.   
  87. 范例七∶将 /etc/man.config 档案的内容中,有 MAN 的设定就取出来,但不要说明内容。  
  88. [root@linux ~]# cat /etc/man.config | grep 'MAN'| sed 's/#.*$//g' | /  
  89. > sed '/^$/d'  
  90. # 每一行当中,若有 # 表示该行为注解,但是要注意的是,有时候,  
  91. # 注解并不是写在第一个字元,亦即是写在某个指令后方,如底下的模样∶  
  92. # 『shutdown -h now # 这个是关机的指令』,注解 # 就在指令的后方了。  
  93. # 因此,我们才会使用到将 #.*$ 这个正规表示法!  
  94.   
  95. 范例八∶利用 sed 直接在 ~/.bashrc 最后一行加入『# This is a test』  
  96. [root@linux ~]# sed -i '$a # This is a test'  ~/.bashrc  
  97. # 上头的 -i 参数可以让你的 sed 直接去修改后面接的档案内容喔!而不是由萤幕输出。  
  98. # 至于那个 $a  则代表最后一行才新增的意思。  
不过鸟哥的不是很全,特补充如下:


  • n和p一起使用:$ sed -n 's/^test/mytest/p'
    example
    (-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印

    它。

  • 引用:$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost,变成192.168.0.1localhost。
  • 引用:$ sed -n 's//(love/)able//1rs/p' example-----love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。
  • 分隔符:$ sed 's#10#100#g' example-----不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替换成100。
  • 用正则表示范围:$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。
  • 正则和数字混用表示范围:$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。
  • $ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行,每行的末尾用字符串sed test替换。
  • 一次执行多条命令:$ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。
  • 并不常用的一种用法:$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。
  • h命令和G命令: $ sed -e '/test/h' -e '$G‘ example-----在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。
  • 特殊字符"^"和"$"匹配的是模式空间的最开始与最末尾
  • n: 将模式空间中的内容输出,然后把下一行读入模式空间
  • sed '/test/{a;b;c}' 这个用法可以针对匹配test的行执行a、b、c这三天命令。
补充几个除d、a、i、s、c、p之外不常用的命令:


  • h:拷贝模板块的内容到内存中的缓冲区。
  • H:追加模板块的内容到内存中的缓冲区
  • g:获得内存缓冲区的内容,并替代当前模板块中的文本。
  • G:获得内存缓冲区的内容,并追加到当前模板块文本的后面。sed G可以在每一行后面添加一个空白行,这是因为当前内存缓冲区为空,每次都把缓冲区的空内容添加到了每一行后面。
  • sed '/^$/d;G':用分号分隔多条命令,每一条命令都会作用在当前行上。

更多用法可以参考:

http://blog.chinaunix.net/u2/89923/showart_2206200.html

阅读(9474) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~