关于nginx和cacti的一次排错经历

关于nginx和cacti的一次排错经历

     星期一早上刚到公司，打开邮箱就看到了停电通知，是上星期六晚上公司机房停电了。照例打开公司的cacti监控，查看服务器状态情况，突然页面出现个502 bad gateway。想着肯定是机房停电导致的。
这个cacti是安装在一个比较老的机器上，系统为centos5.5.那个机器是另一个同事配置的，在上面跑的有数据库、nginx、php以及cacti还有memcache，哈哈，那机器真是多才多艺啊。登陆到服务器。用ps命令查看nginx进程，正常，查看nginx的error.log文件，发现如下错误信息，

2011/05/09 09:29:53 [error] 3324#0: *10 connect() failed (111: Connection refused) while connecting to upstream, client: 192.168.3.135, server: 192.168.100.15, request: "GET /grap
h_view.php?action=tree&tree_id=10&leaf_id=22 HTTP/1.1", upstream: "fastcgi://127.0.0.1:1234", host: "192.168.100.15:8881"

于是执行netstat -lnp | grep 1234发现1234端口没开，是fastcgi的端口，找到路径，执行/usr/local/webserver/php/sbin/php-fpm start，重新访问cacti，仍然报502 bad gateway。继续查看nginx的错误日志，发现报错变成了如下错误信息：

2011/05/09 10:06:31 [error] 23393#0: *44 recv() failed (104: Connection reset by peer) while reading response header from upstream, client: 192.168.3.135, server: 192.168.100.15, request: "GET /graph_view.php?action=tree&tree_id=10&leaf_id=22 HTTP/1.1", upstream: "fastcgi://127.0.0.1:1234", host: "192.168.100.15:8881"

提示连接被重置，使用netstat查看1234端口已经开启，采用telnet 127.0.0.1 1234连接上马上被踢出来，因此判断是php的fastcgi有问题，于是找到php的fastcgi的日志，发现如下报错

May 09 09:53:23.569999 [WARNING] fpm_stdio_child_said(), line 167: child 23037 (pool default) said into stderr: "Connection from disallowed IP address '192.1.4.55' is dropped."

发现这个ip由于不允许访问被drop了，ifconfig查看ip发现本级是eth0的ip，于是更改php的fastcgi的配置文件php-fpm.conf，把
192.168.100.15
更改成如下内容：
192.168.100.15,127.0.0.1,192.1.4.55
执行/usr/local/webserver/php/sbin/php-fpm restart，再次访问cacti，这次OK了，呵呵！不知道以前怎么能访问。从这次故障中我们也获得了启示，nginx的502错误在很多时候并非是nginx的问题，如果老是揪住nginx不妨，恐怕问题解决起来不会那么容易，因此应该错误日志入手，找出问题的蛛丝马迹。赶紧把/usr/local/webserver/php/sbin/php-fpm start加入到/etc/rc.local中去，免得下次重启还有问题。