website突然有报警提示宕掉，开始我以为是数据中心的网络不好，因为数据中心的网络问题，我们已经数次收到此类报警，去zabbix监控平台上查看，发现outgong流量突然增多，见附件
这个时候在pingdom上查看response time ，大吃一惊。见附件
显然有问题，要处理了，期间我先查了网站服务器的网卡的流量，确认idc数据中心的网络是正常的，然后才来查pingdom的响应时间的，解决这类问题要靠查日志文件，但若大的日志文件，该如何获取有效信息，当然shell是可以的，但懒人总是想更懒些
，呵呵，有现成的为啥不用，于是安装goaccess
运行后发现相关信息：
17.71G,这个流量一直在上升，而且上升的很快，怀疑是该ip所致，于是查询该ip的位置；
防火墙上封掉它，-A INPUT -s 109.185.200.42 -j DROP
封掉该ip后，机器流量恢复正常，见附件：
呵呵 goaccess利器啊！
website的访问时间也恢复正常，见附件！
或看趋势图：
显然已经恢复了正常！
反思：这个问题反应有点慢，希望下次能提高响应速度
究竟是什么原因导致网络流量高？原来是被Mozilla/3.0 (compatible; Indy Library) 爬了。
见日志节选：
如何禁止掉这个垃圾蜘蛛？ 待思考的问题
网上摘抄一个判断是否被爬到方法:
[root@s5 log]# netstat -nt | grep 192.***.***.18:80 | awk '{print $5}' | awk -F":" '{print $1}'| sort | uniq -c | sort -r -n
1910 192.***.***.18 ##本机的ip
25 151.74.151.112
24 31.147.153.40
22 83.6.27.161
22 114.191.163.197
20 83.39.219.212
20 79.184.72.178
阅读(1203) | 评论(0) | 转发(0) |
