器量大者,福泽必厚
全部博文(587)
分类: LINUX
2015-03-08 10:12:46
kuucity机器 zabbix报警
too many processes
以前也处理过类似的问题,按照以前的经验是php-fpm进程过多所致,但这次很特殊,记录下处理的流程!
Kuucity机器为zabbix server 所在的机器,没有web项目在用(只是一个lnmp平台,上面的web应用处于闲置状态),仅仅是一个zabbix server 加上一个前端,为什么会有那么多的too many processes 报警? 我没太细想,直接就将php-fpm和nginx重启, 后来问题还是出现了,我就有些纳闷,后来怀疑是db的问题,怀疑db杜塞造成php-fpm 堆积,于是将db从myisam转换为innodb,后来发现还是有问题,于是仔细看了下,ps –ef ,发现有大量的sendmail进程,同时top的时候,发现大概有100个左右的僵尸进程,又是ps aux | grep sendmail|wc -l,发现有100多个,其实进程报警的限额是900(zabbix trigger里面可以看出了),kill 僵尸进程的pid 是kill 不掉该进程的,只有kill掉它的父进程pid才可以,于是ps –ef | grep sendmail 找出进程pid逐个kill掉!
##提示通过top可以看到现在的进程数!
另外一个问题:
Cpu too load too many processes
事件过程:日志没有清理,导致/分区可用的空间比较少了,于是cp -a logs /home/liuxiaojie ##我当时想的是将日志备份到一个空间大的分区里面,然后清空logs目录下的日志文件
结果导致磁盘利用率高,w显示机器的负载变高,php-fpm进程数变大,迅速达到了1000的上限,于是手动将cp进程给停掉(ctrl+c),负载大概2分钟就恢复正常了!磁盘利用率几乎达到100%了,导致了上面问题的发生!
有时候我怀疑是db的问题,其实是磁盘的问题!
在出问题的那个时间段监控上的显示:
cpu utilization 见附件:
cpu负载:
: