Shell之awk命令

一、基本语法
        awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
        awk允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。其基本语法如下：
        awk '{pattern + action}' {filename}
        其中，pattern表示awk在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号{}不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。此外，pattern就是要表示的正则表达式，用斜杠括起来。
        awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其它文本操作。完整的awk脚本通常用来格式化文本文件中的信息。通常，awk是以文件的一行为处理单位的，每接收文件的一行，执行相应的命令，来处理文本。
        一般使用awk的方式有如下三种：
1、命令行
        awk [-F field-separator]  'commands'  input-file(s)
        其中，commands是真正awk命令，[-F域分隔符]是可选的，input-file(s) 是待处理的文件。
        在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。
2、shell脚本
        将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一般通过键入脚本名称来调用。相当于shell脚本首行的：
        #!/bin/sh
        可以换成：
        #!/bin/awk
3、awk脚本
        将所有的awk命令插入一个单独文件，然后调用：
        awk -f awk-script-file input-file(s)
        其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。
        这里以命令行为例说明之，awk的一般语法格式如下：
        awk [-参数 变量] 'BEGIN{初始化}条件类型1{动作1}条件类型2{动作2}...END{后处理}'
        其中：BEGIN和END中的语句分别在开始读取文件之前和读取完文件之后发挥作用，可以理解为初始化和扫尾。 
        比如：统计文件xxx中第一列中是浮点数的行的浮点数的平均值：
        #awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}' xxx
        上面例子中，$1~/^[0-9]+\.[0-9]*/表示$1与“/ /”里面的正则表达式进行匹配，若匹配，则total加上$1，且len自增，即数目加1.“^[0-9]+\.[0-9]*”是个正则表达式，“^[0-9]”表示以数字开头，“\.”是转义的意思，表示“.”为小数点的意思。“[0-9]*”表示0个或多个数字。

二、基本实例
        #cat /etc/passwd | awk -F':' '{print $1"\t"$7}'
        上面命令显示/etc/passwd账户和账户对应的shell，这是awk+action的典型实例，每行都会执行action{print $1"\t"$7}，-F指定域分隔符为':'。
        awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域，$1表示第一个域，$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键"，所以$1表示账户，$7表示账户对应的shell，依此类推。
        #cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
        awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域，$1表示第一个域，$n表示第n个域，随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。
        #awk -F: '/root/' /etc/passwd
        搜索/etc/passwd有root关键字的所有行，这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。
        #awk -F: '/^root/' /etc/passwd
        搜索支持正则，上面例子查找并显示root开头的行。

三、高级实例
1、内置变量
        awk支持如下内置变量用来设置环境信息：
        ARGC：命令行参数个数
        ARGV：命令行参数数组        
        FILENAME：awk浏览的文件名
        FNR：当前文件的记录数
        NR：已经读出的记录数
        FS：设置输入字段分隔符，等价于命令行 -F选项
        NF：浏览记录的字段的个数
        OFS：输出字段分隔符，默认是空格
        RS：读取行记录分隔符，默认是"\n"
        ORS：输出行记录分隔符，默认是换行符
        此外，awk中同时提供了print和printf两种打印输出的函数。
        其中，print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。
        printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。
        下面结合内置变量和打印函数来统计和显示/etc/passwd文件内容，包括文件名、行号、列数、完整行内容：
        #awk -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
        #awk -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
 2、变量与赋值       
        除了内置变量，awk还能自定义变量：
        #ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 
         上面命令以M为单位统计显示文件夹下文件占用字节数，其中，size为自定义变量，初始值为0。
3、条件语句
        awk条件语句类似于C语言：
        if (expression) {
            statement;
        }
        ---------------------------------------------
        if (expression) {
            statement;
        } else {
            statement2;
        }
        ---------------------------------------------
        if (expression) {
            statement1;
        } else if (expression1) {
            statement2;
        } else {
            statement3;
        }
        这里以统计某个文件夹下的文件占用的字节数为例，用if语句过滤掉4096大小的文件(一般都是文件夹)：
        #ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'
4、循环语句
        awk中的循环语句也类似于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义基本相同。
5、数组
        因为awk中数组的下标可以是数字和字符串，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板被匹配的次数等等。
        这里用数组记录/etc/passwd中账户，用for循环遍历显示数组内容：
        #awk -F':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
        本文只是对awk常用功能的简单概述，关于awk远远不止于此，更详细的内容可以参见。