庖丁解牛获取连接状态数的awk数组命令系列

一、生产服务器netstat tcp连接状态

1.1生产服务器某个业务LVS负载均衡上连接状态数量

[oldboy@LVS-1-1 ~]$ netstat -n |awk '/^tcp/ {++oldboy[$NF]} END {for(a in oldboy) print a, oldboy[a]}'
TIME_WAIT 9137
CLOSE_WAIT 207
FIN_WAIT1 547
ESTABLISHED 597
FIN_WAIT2 74
SYN_RECV 70
CLOSING 55
LAST_ACK 8
[root@lvs_nginx~]#netstat -n |awk '/^tcp/ {++oldboy[$NF]} END {for(a in oldboy) print a, oldboy[a]}'
TIME_WAIT 422
CLOSE_WAIT 590
FIN_WAIT1 56
FIN_WAIT2 28
ESTABLISHED 1731
1.2生产服务器某个业务web上连接状态数量

[root@web1 ~]# netstat -n |awk '/^tcp/ {++oldboy[$NF]} END {for(a in oldboy) print a, oldboy[a]}'
TIME_WAIT 418
FIN_WAIT1 7
FIN_WAIT2 3
ESTABLISHED 1097
LAST_ACK 2

[root@web2 ~]# netstat -n |awk '/^tcp/ {++oldboy[$NF]} END {for(a in oldboy) print a, oldboy[a]}'
TIME_WAIT 250
FIN_WAIT1 2
FIN_WAIT2 3
ESTABLISHED 1032
LAST_ACK 2

[root@old_web ~]# netstat -n |awk '/^tcp/ {++oldboy[$NF]} END {for(a in oldboy) print a, oldboy[a]}'
TIME_WAIT 342
CLOSE_WAIT 618
FIN_WAIT1 37
FIN_WAIT2 3
ESTABLISHED 1681
SYN_RECV 1
[root@K32_50718 ~]# netstat -n |awk '/^tcp/ {++oldboy[$NF]} END {for(a in oldboy) print a, oldboy[a]}'
TIME_WAIT 4146
FIN_WAIT1 352
FIN_WAIT2 1112
ESTABLISHED 8451
SYN_RECV 186
CLOSING 9
LAST_ACK 102
1.3 生产服务器某个业务db上连接状态数量

[root@web_slave ~]# netstat -n |awk '/^tcp/ {++oldboy[$NF]} END {for(a in oldboy) print a, oldboy[a]}'
TIME_WAIT 263
FIN_WAIT1 1
FIN_WAIT2 48
ESTABLISHED 918

二、tcp连接状态的描述说明(netstat输出)

2.1 执行netstat -n查看输出结果共6列

[root@OLDBOY ~]# netstat -n
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local AddressForeign AddressState
tcp00 10.0.0.183:5058410.0.0.181:22ESTABLISHED
2.2 通过man netstat查看netstat输出结果信息

三、庖丁解牛获取连接状态数的命令
3.1 获取连接状态数的awk命令
netstat -n |awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
提示：将netstat -n的结果通过管道符交给awk命令处理。
3.2先来执行下netstat -n
[oldboy@LVS-1-1 ~]$ netstat -n|more #截取部分有代表性的内容如下
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local AddressForeign AddressState
tcp00 124.123.3.79:80219.85.194.23:12004SYN_RECV
tcp00 124.123.3.77:80183.8.74.57:3276SYN_RECV
tcp00 124.123.3.77:80124.236.0.214:63191SYN_RECV
tcp00 124.123.3.77:80221.237.233.41:2338TIME_WAIT
tcp01023 124.123.3.77:8061.178.184.222:62683FIN_WAIT1
tcp00 124.123.3.77:80222.79.242.74:7416TIME_WAIT
tcp04839 124.123.3.77:80121.31.42.148:30638FIN_WAIT1
tcp00 124.123.3.77:80183.10.154.60:37282TIME_WAIT
tcp01 124.123.3.77:8059.49.174.176:26913CLOSING
tcp00 124.123.3.77:80120.87.129.35:1787TIME_WAIT
tcp0174 124.123.3.77:80120.71.134.66:1165CLOSING
提示：实际执行这条命令的时候，可能会得到上万条类似的记录，我们只取若干来举例。
3.3拆解awk命令

1）完整命令如下
netstat -n |awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
2）awk庖丁解牛
命令拆分
功能说明
/^tcp/
过滤出以tcp开头的行，“^”为正则表达式用法，以...开头，这里是过滤出以tcp开头的行。
S[]
定义了一个名叫S的数组，在awk中，数组下标通常从 1 开始，而不是 0。
NF
当前记录里域个数，默认以空格分隔，如上所示的记录，NF域个数等于6
$NF
表示一行的最后一个域的值，如上所示的记录，$NF也就是$6，表示第6个字段的值，也就是SYN_RECV或TIME_WAIT等。
S[$NF]
表示数组元素的值，如上所示的记录，就是S[TIME_WAIT]状态的连接数
++S[$NF]
表示把某个数加一，如上所示的记录，就是把S[TIME_WAIT]状态的连接数加一
END

for(key in S)
遍历S[]数组
print key,”\t”,S[key]
打印数组的键和值，中间用\t制表符分割，显示好一些。
3）举个小例子练手
已知test.txt内容：
001 name wodi12k
002 name yingsui 15k
003 name jeacen10k
004 name kuqi8k
005 name yideng10k
006 name xiaofan8k
要求：统计老男孩培训学生中，不同薪水的学生的数量报表。
[oldboy@test ~]$ cat test.txt |awk '/^00/ {++S[$NF]} END {for (a in S) print a,S[a]}'
15k 1
8k 2
10k 2
12k 1
提示：模拟前面的awk命令，过滤以00开头的行，然后进行处理。
上述awk数组元素内容：
key=12k S[12K]=1
key=15k S[15K]=1
key=10k S[10K]=2
key=8kS[8K]=2
[oldboy@test ~]$ awk '/^00/ {++S[$NF]} END {for (a in S) print a,S[a]}' test.txt
15k 1
8k 2
10k 2
12k 1
提示：awk可以直接处理文本，因此，不需要去cat，不但不专业，而且内容多时，影响处理效率。

四、awk数组命令生产实战拓展
4.1统计apache日志单ip访问请求数排名（这个常用，考试也常考）
假设apache日志内容access.log内容为：
10.0.0.41 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.43 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 - - [03/Dec/2010:23:27:01 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.42 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.47 - - [03/Dec/2010:23:27:02 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.41 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
10.0.0.46 - - [03/Dec/2010:23:27:03 +0800] "HEAD /checkstatus.jsp HTTP/1.0" 200 -
4.1.1 给出3种解决方案

法一：
[root@oldboy /]# awk '{++S[$1]} END {for (oldboy in S) print oldboy ,S[oldboy]}' access.log |sort -rn -k2
10.0.0.41 3
10.0.0.47 2
10.0.0.46 2
10.0.0.42 2
10.0.0.43 1
#提示 $1为第一个域的内容。-k2 为对第二个字段排序，即对数量排序。
法2：
[root@oldboy /]# awk '{print $1}' access.log|sort|uniq -c |sort -rn -k1
3 10.0.0.41
2 10.0.0.47
2 10.0.0.46
2 10.0.0.42
1 10.0.0.43
提示：这个方法是容易想到的简单易用的方法，对于大多数同学来说，此法其实更适合大家，awk数组的方法看起来好，实际上对于初级运维来来说有点难度，经常记不住。
法3：
[root@oldboy /]# sed's/- -.*$//g' access.log|sort|uniq -c|sort -rn -k1
3 10.0.0.41
2 10.0.0.47
2 10.0.0.46
2 10.0.0.42
1 10.0.0.43
提示：sed管道后的第一个sort是让所有一样的IP挨着，因为uniq -c只能对相邻的IP行去重计数。
此题的解答可以有10几种，前面的课程我们已经带大家细讲了，这里就不一一讲解了。
4.1.2统计apache日志单ip访问请求数排名价值何在？

解答：通过前面的命令，我们可以找到什么IP的访问apache比较频繁，一般单个IP访问数量过百，就值得怀疑了，如果短时间内上万PV访问，说明就不正常了，可以采取相应的处理手段，比如封掉此IP，此法要慎重，否则，可能会有误封问题，因为，国内的大多数公司还是NAT上网的，出口一个IP。
4.2 统计服务器当前单IP连接数最大的IP地址前十

提示：这个命令可以查出遭受DOS攻击的客户端IP地址。待处理内容如下：
netstat -n >test.log的结果：
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local AddressForeign AddressState
tcp00 124.123.3.79:80219.85.194.23:12004SYN_RECV
tcp00 124.123.3.77:80183.8.74.57:3276SYN_RECV
tcp00 124.123.3.77:80124.236.0.214:63191SYN_RECV
tcp00 124.123.3.77:80121.31.42.148:2338TIME_WAIT
tcp01023 124.123.3.77:8061.178.184.222:62683FIN_WAIT1
tcp00 124.123.3.77:80222.79.242.74:7416TIME_WAIT
tcp04839 124.123.3.77:80121.31.42.148:30638FIN_WAIT1
tcp00 124.123.3.77:80183.10.154.60:37282TIME_WAIT
tcp01 124.123.3.77:8059.49.174.176:26913CLOSING
tcp00 124.123.3.77:80121.31.42.148:1787TIME_WAIT
tcp0174 124.123.3.77:80183.8.74.57:1165CLOSING
4.2.1 问题解决方案

[root@OLDBOY ~]# awk-F '[ :]+' '{++S[$6]} END {for (a in S) print a ,S[a]}' test.log |sort -rn -k2
121.31.42.148 3
183.8.74.57 2
Foreign 1
61.178.184.222 1
59.49.174.176 1
222.79.242.74 1
219.85.194.23 1
183.10.154.60 1
124.236.0.214 1
提示：
1）结果中的字符等，你可以进一步过滤。
2) 对于多分隔符匹配的用法大家可以参考老男孩的博文
深入浅出三剑客之awk必杀技一例
http://oldboy.blog.51cto.com/2561410/950730
3)实际生产中，我们过滤出已经建立连接的状态ESTABLISHED，然后，应用上述命令处理，完整命令可能为：
netstat -an|awk-F '[ :]+' '{++S[$6]} END {for (a in S) print a ,S[a]}'|sort -rn -k2
4.2.2 生产环境案例

[leo@LVS-1-1 ~]$ netstat -an|grep EST|awk '{print $5}'|cut -d : -f 1|grep -v "^$"|awk '{++ETT[$1]} END {for (oldboy in ETT) print "ip:"oldboy "-----",ETT[oldboy] ''}'|sort -rn -k2|head -10
ip:220.181.125.69----- 51
ip:121.9.222.164----- 38
ip:121.9.222.158----- 38
ip:121.9.222.156----- 38
ip:121.9.222.161----- 36
ip:121.9.222.160----- 32
ip:121.9.222.159----- 32
ip:121.9.222.162----- 31
ip:61.163.7.200----- 29
ip:115.193.163.61----- 27
提示：这是早期的命令案例，我们看到命令虽然很简单，但是搞的很复杂。实际上可以用下面看起来简单，但是难度很大的命令替代之。
netstat -an|grep EST|awk-F '[ :]+' '{++S[$6]} END {for (key in S) print "ip:"key"----->",S[key]}'|sort -rn -k2
注意，这里过滤的是已经建立连接的的连接，即状态ESTABLISHED。
4.2.3 本案例解决的生产问题

netstat -an|grep EST|awk-F '[ :]+' '{++S[$6]} END {for (key in S) print "ip:"key"----->",S[key]}'|sort -rn -k2
注意，这里过滤的是已经建立连接的的连接，即状态ESTABLISHED。
对于命令结果中，单IP结尾的数大的，可以认为是不正常的访问。如 121.31.42.148 100 ，表示一个IP有100个连接
一般来说可以怀疑不正常，当网站压力大时，可以考虑限制或封掉这些冒似非法IP，当然，也不排除，企业里多个用户用一个出口IP访问。
壮士扼腕，有时也是必须的，否则，可能网站整体影响更大，甚至瘫痪。有时，各种搜索引擎的爬虫是很疯狂的，通过本例及上面的案例，我们可以再负载IO高时，能够进行临时应对，当然，这不是长久的方法，优化网络和服务器，部署大规模集群服务器才是较好的解决之道。

转载http://oldboy.blog.51cto.com/2561410/1184165