website突然有报警提示宕掉,开始我以为是数据中心的网络不好,因为数据中心的网络问题,我们已经数次收到此类报警,去zabbix监控平台上查看,发现outgong流量突然增多,见附件
这个时候在pingdom上查看response time ,大吃一惊。见附件
显然有问题,要处理了,期间我先查了网站服务器的网卡的流量,确认idc数据中心的网络是正常的,然后才来查pingdom的响应时间的,解决这类问题要靠查日志文件,但若大的日志文件,该如何获取有效信息,当然shell是可以的,但懒人总是想更懒些
,呵呵,有现成的为啥不用,于是安装goaccess
运行后发现相关信息:
17.71G,这个流量一直在上升,而且上升的很快,怀疑是该ip所致,于是查询该ip的位置;
防火墙上封掉它,-A INPUT -s 109.185.200.42 -j DROP
封掉该ip后,机器流量恢复正常,见附件:
呵呵 goaccess利器啊!
website的访问时间也恢复正常,见附件!
或看趋势图:
显然已经恢复了正常!
反思:这个问题反应有点慢,希望下次能提高响应速度
究竟是什么原因导致网络流量高?原来是被Mozilla/3.0 (compatible; Indy Library) 爬了。
见日志节选:
如何禁止掉这个垃圾蜘蛛? 待思考的问题
网上摘抄一个判断是否被爬到方法:
[root@s5 log]# netstat -nt | grep 192.***.***.18:80 | awk '{print $5}' | awk -F":" '{print $1}'| sort | uniq -c | sort -r -n
1910 192.***.***.18 ##本机的ip
25 151.74.151.112
24 31.147.153.40
22 83.6.27.161
22 114.191.163.197
20 83.39.219.212
20 79.184.72.178
阅读(1195) | 评论(0) | 转发(0) |