凌晨3:30 接老板海外电话,网站访问慢!
于是登录机器和pingdom,迅速查看了下db1-db6 六台机器, 发现db1 机器show processlist显示的sleep进程比较多,有500之多,间隔一会再次执行显示的sleep进程 1300左右,其他的几台db机器上执行show processlist;显示的进程比较少,基本上可以猜到是db1 的问题了,在web机器上查看php-fpm的个数,2002 ,我设置的php-fpm的上限为2000. 显然web服务器肯定是访问慢了!
显然是mysql拥塞,造成php-fpm个数的增长
于是想写脚本干掉处于sleep状态的进程,但半夜的脑子不清醒啊
,突然想到了一个好用的percona 工具,pt-kill 于是 ,
[]#pt-kill --match-command Sleep --kill --victims all --interval 15
然后再次在db1 上执行show processlist;
清爽了很多,在web服务器上ps aux | grep php-fpm|wc -l 显示的数目一直在下降。
大约过了2-3分钟左右,web服务器恢复正常!后来我把这个进程给ctrl+c掉了,结果php-fpm再次回升,迅速回到1792 ,呵呵
于是执行nohup
pt-kill --match-command Sleep --kill --victims all --interval 15 & 将其放到后台执行,否则兄弟今晚别想睡觉了
##反思:sleep状态的进程多,一般情况是下面两个timeout的问题:
[root@db1 ~]# cat /etc/my.cnf | grep timeout
wait_timeout = 10
interactive_timeout = 10
开始我设置的为30s, 运行了将近一年了,有没有出过问题,昨天夜里突然出现了问题,而且查看当时的错误日志提示:Mysql is gone away。
估计也有相关sql的原因!
从高手那里摘抄一些资料:
阅读(961) | 评论(0) | 转发(0) |