服务器换机房后cacti监控不出图故障排查

服务器换机房后cacti监控不出图故障排查

环境介绍：

因为业务需要，公司在深圳机房的几台服务器搬迁到中山机房，由于监控服务器放在佛山，因此采用如下图的方式来对中山机房的机器进行监控：

佛山的监控系统采用cacti+nagios来监控，B服务器为windows机器，没有公网IP。因此cacti和nagios获取数据的时候需要通过A服务器(linux)的iptables来转发。如上图，cacti通过访问A服务器的11161端口来访问B服务器的snmp服务(snmp服务使用的端口为udp161端口)。在A服务器上添加了如下iptables规则来实现端口转发的目的：

# nagios的windows客户端NSClient的端口转发，nagios通过这个端口采集数据

/sbin/iptables -t nat -A PREROUTING -d 189.43.138.11 -p tcp -m tcp --dport 12489 -j DNAT --to-destination 172.16.100.82:12489

#windows中snmp的端口转发，cacti通过这个端口采集数据

/sbin/iptables -t nat -A PREROUTING -d 189.43.138.11 -p udp -m udp --dport 11161 -j DNAT --to-destination 172.16.100.82:161

#将B服务器的IP地址进行伪装，使B服务器能正常上网

/sbin/iptables -t nat -A POSTROUTING -s 172.16.100.0/24 -j SNAT --to-source 189.43.138.11

机器迁移以后因为IP变了因此只对一些涉及到IP的配置做了变更，变更后网站访问以及ssh登录等都正常，nagios监控的也正常，唯独cacti没有数据。奇怪的是以前在深圳机房的时候也是采取的iptables规则来做端口转发的，能正常地获取数据。现在不同的只是将IP变更了一下就出现不能获取数据的问题，检查了windows下的防火墙以及杀毒软件没有阻塞对161端口的访问，不知道什么原因？

故障排查：

         为了深入分析这个问题，首先在监控服务器上使用snmpwalk命令看看能否获取数据，命令如下：

snmpwalk -v2c -c public 189.43.138.11: 11161

#返回如下内容

Timeout: No Response from 189.43.138.11: 11161

发现没有内容返回，在监控服务器上ping 189.43.138.11没有问题。为了一探究竟在A服务器上使用tcpdump抓包

在A服务器使用如下命令抓包:

/usr/sbin/tcpdump -i eth1 port 11161 –vv

返回如下内容：

18:44:30.650302 IP (tos 0x0, ttl  58, id 0, offset 0, flags [DF], proto: UDP (17), length: 82) 121.9.203.157.13065 > 189.43.138.11.suncacao-snmp: [udp sum ok] UDP, length 54

18:44:31.651067 IP (tos 0x0, ttl  58, id 0, offset 0, flags [DF], proto: UDP (17), length: 82) 121.9.203.157.13065 > 189.43.138.11.suncacao-snmp: [udp sum ok] UDP, length 54

备注：由于后面几个包和这两个包一样，限于篇幅，省略了。

从抓取的包中我们可以看出数据顺利的到了189.43.138.11服务器，但是从189.43.138.11却没有数据返回。

于是在B服务器使用ethereal进行抓包分析。通过161端口进行过滤后发现如下内容：

发现返回的IP确实172.16.100.83的IP，也就是B服务器上另外一个IP，对于这个IP我们的防火墙上没有任何规则。至此真相大白！

故障原因：

         从上面的分析中我们可以看出，我们的规则之是针对172.16.100.82这个IP，但是B服务器上snmp响应的IP确实172.16.100.83这个IP，因为A上的iptables只是针对172.16.100.82这个IP做了规则，因此导致数据返回监控服务器的时候出现问题。以前在深圳机房的时候只配置了一个IP，因此没有出现这个问题。

解决办法：

         知道了问题的原因，就好解决了，只需要将防火墙规则指向172.16.100.83这个IP即可或者将172.16.100.83这个IP去掉，因为那个IP是同事配置的因此采用第一种解决办法，于是将snmp端口转发的规则调整如下：

#windows中snmp的端口转发，cacti通过这个端口采集数据

/sbin/iptables -t nat -A PREROUTING -d 189.43.138.11 -p udp -m udp --dport 11161 -j DNAT --to-destination 172.16.100.83:161

再使用snmpwalk在监控服务器上获取一下数据看看:

snmpwalk -v2c -c public 189.43.138.11:11161

SNMPv2-MIB::sysDescr.0 = STRING: Hardware: x86 Family 6 Model 26 Stepping 5 AT/AT COMPATIBLE - Software: Windows Version 5.2 (Build 3790 Multiprocessor Free)

SNMPv2-MIB::sysObjectID.0 = OID: SNMPv2-SMI::enterprises.311.1.1.3.1.2

DISMAN-EVENT-MIB::sysUpTimeInstance = Timeticks: (915656) 2:32:36.56

SNMPv2-MIB::sysContact.0 = STRING:

SNMPv2-MIB::sysName.0 = STRING: WEB2

哈哈，终于有数据了，再看看cacti中也开始有数据了。看来排查这种问题，还是需要通过抓包的方式来定位问题，比较快速！

故障总结：

         对于我们IT人员来说掌握各个平台下的抓包工具的使用也是一项很重要的技能，有了这些技能我们才能在复杂的和高压力的IT工作环境中脱颖而出，达到事半功倍的效果。在工作当中如果遇到网络不通或者是获取不了数据的情况，采用抓包的方法来分析能快速的定位问题。因此，在这里也希望通过这个问题的总结让更多的人重视一些IT工具的积累和使用。