Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1247550
  • 博文数量: 261
  • 博客积分: 4196
  • 博客等级: 上校
  • 技术积分: 3410
  • 用 户 组: 普通用户
  • 注册时间: 2012-02-17 17:05
文章分类

全部博文(261)

文章存档

2018年(1)

2017年(22)

2016年(2)

2015年(8)

2014年(27)

2013年(40)

2012年(161)

分类: LINUX

2012-02-27 11:38:36

正则表达式介绍

         使用s h e l l时,从一个文件中抽取多于一个字符串将会很麻烦。例如,在一个文本中抽取一个词,它的头两个字符是大写的,后面紧跟四个数字。如果不使用某种正则表达式,在s h e l l中将不能实现这个操作。

         正则表达式是一种可以用于模式匹配和替换的强大工具,我们可以在很多unix程序中找到正则表达式的身影,例如viperlphpawksedemacsgrep等。

         正则表达式常见的应用场合:

1.         验证用户输入是否合法,如验证 “xxx@xxx.xxx”的规则,其中x字符是字母,数字,下划线,小数点或减号,邮件地址的每一部分可以有一个或多个字符。

2.         验证IP地址是否符合“yyy.yyy.yyy.yyy”的规则,且每个地址段小于255

3.         ……

基本元字符集及其含义

^

只匹配行首

$

只匹配行尾

*

一个单字符后紧跟*,匹配0个或多个此单字符

[]

匹配[ ]内字符。可以是一个单字符,也可以是字符序列。可以使用-表示[ ]内字符序列范围,如用[ 1 - 5 ]代替[ 1 2 3 4 5 ]

\

只用来屏蔽一个元字符的特殊含义。因为有时在shell中一些元字符有特殊含义。\可以使其失去应有意义

.

 只匹配任意单字符

p a t t e r n \ { n \ }

只用来匹配前面p a t t e r n出现次数。n为次数

p a t t e r n \ { n\ }

含义同上,但次数最少为n

p a t t e r n \ { nm \ }

含义同上,但p a t t e r n出现次数在nm之间

 


grep

       相信grepUNIXLINUX中使用最广泛的命令之一。grep(全局正则表达式版本)允许对文本文件进行模式查找。如果找到匹配模式, grep打印包含模式的所有行。grep支持基本正则表达式,也支持其扩展集。grep有三种变形,即:

       grep:标准grep命令,集中讨论此格式。

       egrep:扩展grep,支持基本及扩展的正则表达式,但不支持\ q模式范围的应用,与之相对应的一些更加规范的模式,这里也不予讨论。

       fgrep:快速grep。允许查找字符串而不是一个模式。不要误解单词fast,实际上它与grep速度相当。

       grep一般格式为:

       grep [选项] 基本正则表达式 [文件]

       这里基本正则表达式可为字符串。

       grep命令中输入字符串参数时,最好将其用双引号括起来。例如:“m y s t r i n g”

       这样做有两个原因:

    1. 一是以防被误解为s h e l l命令;
    2. 二是可以用来查找多个单词组成的字符串。

         常用的grep选项有:

1.       -c 只输出匹配行的计数。

2.       -i 不区分大小写(只适用于单字符)。

3.       -h 查询多文件时不显示文件名。

4.       -l 查询多文件时只输出包含匹配字符的文件名。

5.       -n 显示匹配行及行号。

6.       -s 不显示不存在或无匹配文本的错误信息。

7.       -v 显示不包含匹配文本的所有行

       查询多个文件

如果要在当前目录下所有.c文件中查找字符串“sort”,方法如下:

grep "sort" *.c

或在所有文件中查询单词“sort it”

grep "sort it" *

    1. 行匹配

$ grep -c "12" data

grep返回数字4,意义是有4行包含字符串“12”

现在显示包含“12”字符串的4行文本:

       行数

显示满足匹配模式的所有行行数:

grep  -n “13” data

    1. 显示非匹配行

显示所有不包含13的各行:

grep  -v “13” data

    1. 精确匹配

grep  “13” data   ?

    1. 大小写敏感

grep  -i “sept” data

 

       模式范围

指定查询字符串的范围

grep  “13[23]” data

       不匹配行首

grep  “^[^12]” data

       匹配大小写

grep  “[Ss]ept” data

       匹配任意字符

grep  “IBM…” data

       使用grep匹配或者模式

加参数- E允许使用扩展模式匹配

grep  -E “1301|1303” data

       匹配特殊字符

grep “\”” *

       匹配IP地址

grep “\([0-9]\{1,3\}\.\)\{1,3\}[0-9]\{1,3\}” /etc/sysconfig/network-scripts/*

awk

       awk命令,要格式化报文或从一个大的文本文件中抽取数据包。

       整体来说, a w k是所有s h e l l过滤工具中最难掌握

1.       复杂的语法

2.       含义不明确的错误提示信息。

       调用awk

awk  |-F field-sperator | ‘command’ input-file(s)

    1. [ - F域分隔符] 是可选项,a w k使用空格作为缺省的域分隔符;

如浏览像passwd这种以”:”分割的文件,需要指定选项:

       awk -F: ‘command’ input-file

    1. command是真正的awk命令

l       域参数

编号(1)   生产日期(2)   产品名称(3)   价格(4)

l       抽取域

awk ‘{print $1}’ data.txt

       awk 中的 print 命令把输入文件中选择的数据输出。

       awk 读取文件的一行,根据指定的 输入域分隔符 把行分开, FSawk 的一个环境变量。它被预先定义为一个或者多个空格或者制表符。

       变量 $1, $2, $3, ..., $N 把输入行的第一第二第三直到最后一个域保存起来。变量 $0 把整行的值保存起来。在下面的图片描述中,我们看到 df 命令输出有6栏。

       df | awk ‘{print $1 "\t\t" $5}’

       打印第一列和第五列,中间用两个Tab隔开

       域分隔符,既不是一个单独的字符也不是一个普通的表达式,是控制 awk 把一个输入分割成几个域。输入记录按分割定义进行字符顺序扫描;域就是在相符的那些文字中间的那部分。

       域分隔符代表内建的变量 FS

       域分隔符变量的值可以在 awk 程序中用赋值操作符 = 来改变。通常最好的执行时间是一开始也就是还没有处理任何输入的时候,因此第一个记录就被随合适的分隔符一起读取。使用特殊的 BEGIN

       awk 'BEGIN { FS=":" } { print $1 "\t" $7 }' /etc/passwd

       awk 'BEGIN { FS=":" } { printf "username:%s\t",$1;printf "home:%s\n",$7}' /etc/passwd

       awk条件操作符

= = 等于

!= 不等于

< 小于

> = 大于等于

< = 小于等于

~ 匹配正则表达式

!~ 不匹配正则表达式

       匹配:

awk ‘{if($3~/IBM/) print }’ data.txt

如果第3个域字段包含IBM字符,则打印

    1. 精确匹配

awk ‘$3==“IBM” {print $0}’ data.txt

    1. 小于

awk ‘{if($1<“13”) print $0}’ data.txt

sed命令

       s e d是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。标准输入可能是来自键盘、文件重定向、字符串或变量,或者是一个管道的文本。

       使用s e d实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符

       使用p(rint)显示行

1.       显示指定行的内容

sed  -n '2p'  sed.txt

    1. 显示指定范围的内容

sed  -n '1,3p'  sed.txt

    1. 模式查找

匹配字符串worried,并显示此行的内容。格式/pattern/

sed  -n '/worried/'p sed.txt

    1. 正则表达式

         使用d删除行

sed  '2d'  sed.txt 删除sed.txt文件的第二行

sed  '2,$d'  sed.txt 删除sed.txt文件第二行到末尾所有行

sed  '$d'  sed.txt  删除sed.txt文件的最后一行

sed '/worried/'d sed.txt  删除sed.txt文件中所有包含worried的行。

 

思考: sed  '/^$/d'  sed.txt

         使用s替换字符()

      sed  's/test/sedtest/g' sed.txt  在整行范围内把test替换为sedtest

      sed  -n  's/test/sedtest/p' sed.txt  (-n)选项和p标志一起使用表示只打印那些发生替换的行

 

阅读(6961) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~