安徽屯溪,哈尔滨的雪地,扬州的瘦西湖,想必知道我是谁了吧!!对,小金思密达
分类: 信息化
2014-10-02 16:22:38
awk运行效率高,代码简单,对格式化的文本处理能力超强。grep|sed|awk|bash|shell|python
例子数据:0.0001 10 1#.00
10 ..10.0 11
awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}}
END{print total/len}' a
awk的语法:
awk [-F re] [parameter...] ['program'] [-f 'programfile'] [in_file_list]
awk里面的BEGIN,END结构:
BEGIN和END中的语句分别在开始读取文件(in_file)之前和读取完文件之后发挥作用,可以理解为初始化和扫尾。
awk里面的if..else; while
; do..while; for; break; continue; printf 语法都和C语言的语法一致;而且awk支持使用if (key
in array)这样的判断语句;awk支持使用for (key in array)这样的语法来遍历数组。
说明:
-F re:允许awk更改其字段分隔符
-v var=val 把val值赋值给var
e.g. 要打印文件A的第M行到M+N行之间的行, awk -v M=$M -v N=$N 'NR==M,NR==M+N{print}' A
awk内置变量:
ARGC 命令行参数的个数
ARGIND 当前被处理文件的ARGV标志符
e.g有两个文件a 和b
awk '{if(ARGIND==1){print "处理a文件"} if(ARGIND==2){print "处理b文件"}}' a
b
文件处理的顺序是先扫描完a文件,再扫描b文件
NR 已经读出的记录数
FNR 当前文件的记录数
上面的例子也可以写成这样:
awk 'NR==FNR{print "处理文件a"} NR > FNR{print "处理文件b"}' a b
输入文件a和b,由于先扫描a,所以扫描a的时候必然有NR==FNR,然后扫描b的时候,FNR从1开始计数,而NR则接着a的行数继续计数,所以NR > FNR
e.g 要显示文件的第10行至第15行
awk 'NR==10,NR==15{print}' a
FS 输入字段分隔符(缺省为:space:),相当于-F选项
awk -F ':' '{print}' a 和 awk
'BEGIN{FS=":"}{print}' a 是一样的
OFS输出字段分隔符(缺省为:space:)
awk -F ':' 'BEGIN{OFS=";"}{print $1,$2,$3}' b
(小注释:awk把分割后的第1、2、3个字段用$1,$2,$3...表示,$0表示整个记录(一般就是一整行))
NF:当前记录中的字段个数
awk -F ':' '{print NF}' b的输出为3 \n 3
的每一行用分隔符":"分割后都3个字段
可以用NF来控制输出符合要求的字段数的行,这样可以处理掉一些异常的行
awk -F ':' '{if (NF == 3)print}' b
RS:输入记录分隔符,缺省为"\n"
缺省情况下,awk把一行看作一个记录;如果设置了RS,那么awk按照RS来分割记录
例如,如果文件c,cat c为
head;tail
BEGIN{ RS = ";" } {print}' c 的结果为
head
tail
合理的使用RS和FS可以使得awk处理更多模式的文档,每个记录使用空行分割,每个字段使用换行符分割,这样的awk也很好写
awk 'BEGIN{ FS = "\n"; RS = ""} {print NF}' d 输出
2
3
1
ORS:输出记录分隔符,缺省为换行符,控制每个print语句后的输出符号
awk 'BEGIN{ FS = "\n"; RS = ""; ORS = ";"} {print
NF}' d 输出
2;3;1
awk的数组:
awk的数组是一个很值得一说的东东。awk的数组从行为上看的话更像关联数组,或者说map、字典,或者说散列。awk的数组接受字符串下标,并接受速度很快的in查询
文件e是由小写的字母组成,cat e 输出为
a
b
z
...
如果要统计不同的字母出现的个数,那么可以使用数组来实现
awk '{arr[$0]++} END{ for (key in arr) print key, "-->",arr[key]
}' e
使用for( key in arr)来遍历数组的时候,输出的次序是不可预测的,这一点跟python的字典遍历是一致的。
在gawk中,可以使用asort内置函数实现数组的排序,其他的awk版本中还没有发现有类似的排序函数。一个折中的办法是先awk完再用管道传给sort来排序。sort使用-k选项可以控制使用指定列排序。
awk的多维数组:
awk的多维数组在本质上是一维数组,更确切一点,awk在存储上并不支持多维数组。awk提供了逻辑上模拟二维数组的访问方式。例如,array[2,4] = 1这样的访问是允许的。awk使用一个特殊的字符串SUBSEP (\034)作为分割字段,在上面的例子中,关联数组array存储的键值实际上是2\0344。
类似一维数组的成员测试,多维数组可以使用 if ( (i,j) in array)这样的语法,但是下标必须放置在圆括号中。
类似一维数组的循环访问,多维数组使用 for ( item in array )这样的语法遍历数组。与一维数组不同的是,多维数组必须使用split()函数来访问单独的下标分量。split ( item, subscr, SUBSEP)
awk读取shell中的变量
可以使用-v选项实现功能
$b=1
$cat f
apple
$awk -v var=$b '{print var, $var}' f
1 apple
除了使用-v选项外,还可以使用"'$variable'"的方式从shell往awk传递变量(注意:这里是单引号)
$awk '{print $b, '$b'}' f
apple 1
至于有没有办法把awk中的变量传给shell呢,这个问题我是这样理解的。shell调用awk实际上是fork一个子进程出来,而子进程是无法向父进程传递变量的,除非用重定向(包括管道)
$a=$(awk '{print $b, '$b'}' f)
$echo $a
apple 1
getline
getline为awk所提供的输入指令.
其语法如下 :
语法 |
由何处读取数据 |
数据读入后置于 |
getline var < file |
所指定的 file |
变量 var(var省略时,表示置于$0) |
getline var |
pipe 变量 |
变量 var(var省略时,表示置于$0) |
$awk 'BEGIN{ "date" | getline d;
close("date");print d}' f
Sun Nov 9 20:55:12 CST 2008
$awk 'BEGIN{getline name < "/dev/tty"} '
$awk 'BEGIN{while(getline < "/etc/passwd" > 0) { lc++ }; print
lc }' f
只要getline的返回值大于0,即读入一行,循环就会继续。
getline如果如成功读取,返回1,否则返回-1,如果遇到EOF,则返回0。getline在读取的同时会设置NF,NR,FNR等内置变量
如果getline后没有变量,则默认置于$0
$awk 'BEGIN{ while(("ls" | getline) > 0) print}' f
(以上3个例子来自UNIX Shells By Example Fourth Edition,
Section 6.26.4)
输出重定向
awk的输出重定向类似于shell的重定向。重定向的目标文件名必须用双引号引用起来。
$awk '$4 >=70 {print $1,$2 > "destfile" }' filename
$awk '$4 >=70 {print $1,$2 >> "destfile" }' filename
awk中调用shell命令:
1)使用管道
awk中的管道概念和shell的管道类似,都是使用"|"符号,在上面getline中{"date" | getline d;}就是使用了管道。如果在awk程序中打开了管道,必须先关闭该管道才能打开另一个管道。也就是说一次只能打开一个管道。shell命令必须被双引号 引用起来。“如果打算再次在awk程序中使用某个文件或管道进行读写,则可能要先关闭程序,因为其中的管道会保持打开状态直至脚本运行结束。注意,管道一 旦被打开,就会保持打开状态直至awk退出。因此END块中的语句也会收到管道的影响。(可以在END的第一行关闭管道)”
awk中使用管道有两种语法,分别是:
awk output | shell input
shell output | awk input
对于awk output | shell input来说,shell接收awk的输出,并进行处理。需要注意的是,awk的output是先缓存在pipe中,等输出完毕后再调用shell命令处理,shell命令只处理一次,而且处理的时机是“awk程序结束时,或者管道关闭时(需要显式的关闭管道)”
$awk '/west/{count++} {printf "%s %s\t\t%-15s\n", $3,$4,$1 |
"sort +1"} END{close "sort +1"; printf "The number of
sales pers in the western"; printf "region is " count
"." }' datafile
printf函数用于将输出格式化并发送给管道。所有输出集齐后,被一同发送给sort命令。必须用与打开时完全相同的命令来关闭管道(sort +1),否则END块中的语句将与前面的输出一起被排序。此处的sort命令只执行一次。
在shell output | awk input中awk的input只能是getline函数。shell执行的结果缓存于pipe中,再传送给awk处理,如果有多行数据,awk的getline命令可能调用多次。
$awk 'BEGIN{ while(("ls" | getline d) > 0) print d}' f
2)使用system命令
$awk 'BEGIN{system("echo abc")}'
需要注意的是system中应该使用shell命令的对应字符串。awk直接把system中的内容传递给shell,作为shell的命令行。
3)system命令中使用awk的变量
空格是awk中的字符串连接符,如果system中需要使用awk中的变量可以使用空格分隔,或者说除了awk的变量外其他一律用""引用起来。
$awk 'BEGIN{a = 12; system("echo " a) }'
还有好多呀,以后再补充
awk的运算符
next等函数
更多的输入输出(输出到多个文件,关闭文件,输出到命令)
awk的内置函数:
gsub, index, length, match, printf, split, sprintf, substr, tolower, toupper, atan, cos, exp, int, log, rand, sin, sqrt, srand, system
###############################################################################
用法: awk [POSIX 或 GNU 风格选项] -f 脚本文件 [--] 文件 ...
用法: awk [POSIX 或 GNU 风格选项] [--] '程序' 文件 ...
POSIX 选项: GNU 长选项:
-f 脚本文件 --file=脚本文件
-F fs --field-separator=fs
-v var=val --assign=var=val
-m[fr] val
-O --optimize
-W compat --compat
-W copyleft --copyleft
-W copyright --copyright
-W dump-variables[=file] --dump-variables[=file]
-W exec=file --exec=file
-W gen-po --gen-po
-W help --help
-W lint[=fatal] --lint[=fatal]
-W lint-old --lint-old
-W non-decimal-data --non-decimal-data
-W profile[=file] --profile[=file]
-W posix --posix
-W re-interval --re-interval
-W source=program-text --source=program-text
-W traditional --traditional
-W usage --usage
-W use-lc-numeric --use-lc-numeric
-W version --version
提交错误报告请参考“gawk.info”中的“Bugs”页,它位于打印版本中的“Reporting
Problems and Bugs”一节
翻译错误请发信至 translation-team-zh-cn@lists.sourceforge.net
gawk 是一个模式扫描及处理语言。缺省情况下它从标准输入读入并写至标准输出。
范例:
gawk '{ sum += $1 }; END { print sum }' file
gawk -F: '{ print $1 }' /etc/passwd