awk和sed

• BEGIN{ 这里面放的是执行前的语句 }
• END {这里面放的是处理完所有的行后要执行的语句 }
• {这里面放的是处理每一行时要执行的语句}

$ awk '$3==0 && $6=="LISTEN" ' netstat.txt            过滤，其中的“==”为比较运算符。其他比较运算符：!=, >, <, >=, <=
$ awk ' $3>0 {print $0}' netstat.txt                                过滤出第三个字段大于0的然后输出该行
$ awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt          把第一行的说明（表头）也打印出来
  #cat /etc/passwd | awk -F':' '{print $1"\t"$7}'                   -F指定域分隔符为':'

$0	当前记录（这个变量中存放着整个行的内容）
$1~$n	当前记录的第n个字段，字段间由FS分隔
FS	输入字段分隔符 默认是空格或Tab
NF	当前记录中的字段个数，就是有多少列
NR	已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。
FNR	当前记录数，与NR不同的是，这个值会是各个文件自己的行号
RS	输入的记录分隔符， 默认为换行符
OFS	输出字段分隔符， 默认也是空格
ORS	输出的记录分隔符，默认为换行符
FILENAME	当前输入文件的名字

$ awk '$3==0 && $6=="ESTABLISHED" || NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR, $4,$5,$6}' netstat.txt        输出行号

$ awk  'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd          

$ awk  -F: '{print $1,$3,$6}' /etc/passwd   等价，指定分隔符        多个分隔符awk -F '[;:]'

$ awk '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt

匹配WAIT字样的状态。其实 ~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。
$ awk '$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt             或
$ awk '$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt                取反

$ awk 'NR!=1{print > $6}' netstat.txt                  按第六列分隔文件
$awk 'NR!=1{print $4,$5 > $6}' netstat.txt       把指定的列输出到文件
$ awk 'NR!=1{if($6 ~ /TIME|ESTABLISHED/) print > "1.txt";

else if($6 ~ /LISTEN/) print > "2.txt";

else print > "3.txt" }' netstat.txt

$ ls -l  *.cpp *.c *.h | awk '{sum+=$5} END {print sum}'       计算所有的C文件，CPP文件和H文件的文件大小总和
$ awk 'NR!=1{a[$6]++;} END {for (i in a) print i ", " a[i];}' netstat.txt             统计各个connection状态数量的用法
$ ps aux | awk 'NR!=1{a[$1]+=$6;} END { for(i in a) print i ", " a[i]"KB";}'         统计每个用户的进程的占了多少内存


awk 'length>80' file                                                #从file文件中找出长度大于80的行
 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr                #按连接数查看客户端IP
 seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'    #打印99乘法表

假设有这么一个文件（学生成绩表）：
$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

我们的awk脚本如下（我没有写有命令行上是因为命令行上不易读，另外也在介绍另一种用法）：

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0

    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

我们来看一下执行结果：（也可以这样运行 ./cal.awk score.txt）

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00


sed
如果你要使用单引号，那么你没办法通过\’这样来转义，就有双引号就可以了，在双引号内可以用\”来转义和变量替换。
sed "s/my/her/g" pets.txt               s表示替换命令，/g 表示一行上的替换所有的匹配
上面的sed并没有对文件的内容改变，只是把处理过后的内容输出。重定向或使用 -i 参数直接修改文件内容

$ sed 's/^/#/g' pets.txt                     每行开始加#
$ sed 's/$/ --- /g' pets.txt                  每行末尾加#
$ sed "3s/my/your/g" pets.txt            只替换第3行
$ sed "3,6s/my/your/g" pets.txt          3到6行替换
$ sed 's/s/S/2' my.txt                          只替换每行第2个
$ sed 's/s/S/3g' my.txt                  

$ sed '1,3s/my/your/g; 3,$s/This/That/g' my.txt           一次替换多个模式  等价sed -e '1,3s/my/your/g' -e '3,$s/This/That/g' my.txt

This is [my] cat |  sed 's/my/[&]/g' my.txt         使用&来当做被匹配的变量，然后可以在基本左右加点东西

$ sed 's/This is my \([^,]*\),.*is \(.*\)/\1:\2/g' my.txt
正则为：This is my ([^,]*),.*is (.*)        匹配为：This is my (cat),……….is (betty)            \1就是cat，\2就是betty

$ sed "1 i This is my monkey, my monkey's name is wukong" my.txt                 在第1行前插入一行
$ sed "$ a This is my monkey, my monkey's name is wukong" my.txt                在最后一行追加一行
$ sed "/fish/a This is my monkey, my monkey's name is wukong" my.txt       如果一行有fish，就在其后追加一行

$ sed "2 c This is my monkey, my monkey's name is wukong" my.txt          c用来替换匹配行
$ sed "/fish/c This is my monkey, my monkey's name is wukong" my.txt

d用来删除匹配行

[address[,address]]{cmd}

address可以是一个数字，也可以是一个模式，你可以通过逗号要分隔两个address 表示两个address的区间
$ sed '/dog/,+3s/^/# /g' pets.txt                          # 其中的+3表示后面连续3行
sed '3,6 {/This/{/fish/d}}' pets.txt                 对3行到第6行，匹配/This/成功后，再匹配/fish/，成功后执行d命令
$ sed '1,${/This/d;s/^ *//g}' pets.txt                              # 从第一行到最后一行，如果匹配到This，则删除之；如果前面有空格，则去除空格