IT狂人
分类：
2012-04-24 12:46:03
网管员在工作中遇到的网络问题，故障现象都是千变万化、多种多样的。所以也不能用单一、固定的方法或知识去解决它们，必须根据实际的故障现象，结合自己的工作经验，运用多种方法和知识灵活的排除故障。下面就是自己在实际工作中碰到的一则故障实例，通过对故障现象的分析，和故障的排除过程来说明排除网络故障并不是一件简简单单的事情。
图1 公司网络服务器部署图
一、公司网络服务器部署架构
单位网络中的服务器部署结构图，如图1所示。为了确保重要设备的稳定性和冗余性，核心层交换机使用两台Cisco 4506，通过Trunk线连接。在核心交换机上连接有单位重要的服务器，如安全中心、DHCP、E-MAIL和WEB服务器等。单位IP地址的部署，使用的是B类私有172网段的地址。其中，连接在Cisco 4506A上的FTP服务器、Web服务器和流媒体服务器都是戴尔牌的，打印服务器是IBM的。连接在Cisco 4506B上的安全中心服务器和DHCP服务器是戴尔的，E-Mail服务器是HP的，认证服务器是IBM的。
两台Cisco 4506之间的连接情况，以及Cisco 4506A和服务器间的连接情况如下所示：
Cisco 4506A GigabitEthernet 1/1 <----> Cisco 4506B GigabitEthernet 1/1
Cisco 4506A GigabitEthernet 4/1 <----> FTP Server Eth0
Cisco 4506A GigabitEthernet 4/2 <----> Web Server Eth0
Cisco 4506A GigabitEthernet 4/3 <----> 流媒体服务器Eth0
Cisco 4506A GigabitEthernet 4/4 <----> 打印服务器 Eth0
Cisco 4506B和服务器之间的连接情况如下所示：
Cisco 4506B GigabitEthernet 4/1 <----> 安全中心服务器 Eth0
Cisco 4506B GigabitEthernet 4/2 <----> DHCP Server Eth0
Cisco 4506B GigabitEthernet 4/3 <----> E-Mail Server Eth0
Cisco 4506B GigabitEthernet 4/4 <----> 认证服务器 Eth0
二、核心交换机的网络配置情况
Cisco4506A上的配置：
Cisco4506A#vlan database
Cisco4506A(vlan)#vlan 2
Cisco4506A(vlan)#apply
Cisco4506A (config)#interface range gigabitEthernet 4/1 -4
Cisco4506A (config-if-range)# switchport
Cisco4506A (config-if-range)#switchport access vlan 2
Cisco4506A(config)#int vlan 2
Cisco4506A(config-if)#ip address 172.16.2.252 255.255.255.0
//创建vlan 2的SVI接口，并指定IP地址
Cisco4506A(config-if)#no shutdown
Cisco4506A(config-if)standby 2 priority 250 preempt
Cisco4506A(config-if)standby 2 ip 172.16.2.254
//配置vlan 2的HSRP参数
Cisco4506A(config)#int vlan 12
Cisco4506A(config-if)#ip address 172.16.12.252 255.255.255.0
Cisco4506A(config-if)#no shutdown
Cisco4506A(config-if)standby 12 priority 250 preempt
Cisco4506A(config-if)standby 12 ip 172.16.12.254
命令"standby 2 priority 250 preempt"中的"priority"是配置HSRP的优先级，2为组序号，它的取值范围为0～255，250为优先级的值，取值范围为0～255，数值越大优先级越高。
优先级将决定一台路由器在HSRP备份组中的状态，优先级最高的路由器将成为活动路由器，其它优先级低的路由器将成为备用路由器。当活动路由器失效后，备用路由器将替代它成为活动路由器。当活动和备用路由器都失效后，其它路由器将参与活动和备用路由器的选举工作。优先级都相同时，接口IP地址高的将成为活动路由器。
"preempt"是配置HSRP为抢占模式。如果需要高优先级的路由器能主动抢占成为活动路由器，则要配置此命令。配置preempt后，能够保证优先级高的路由器失效恢复后总能成为活动路由器。活动路由器失效后，优先级最高的备用路由器将处于活动状态，如果没有使用preempt技术，则当活动路由器恢复后，它只能处于备用状态，先前的备用路由器代替其角色处于活动状态。
Cisco4506B上的配置：
Cisco4506B#vlan database
Cisco4506B(vlan)#vlan 12
Cisco4506B(vlan)#apply
Cisco4506B (config)#interface range gigabitEthernet 4/1 -4
Cisco4506B (config-if-range)# switchport
Cisco4506B (config-if-range)#switchport access vlan 12
Cisco4506B(config)#int vlan 12
Cisco4506B(config-if)#ip address 172.16.12.253 255.255.255.0
Cisco4506B(config-if)#no shutdown
Cisco4506B(config-if)standby 12 priority 249 preempt
Cisco4506B(config-if)standby 12 ip 172.16.12.254
Cisco4506B(config)#int vlan 2
Cisco4506B(config-if)#ip address 172.16.2.253 255.255.255.0
Cisco4506B(config-if)#no shutdown
Cisco4506B(config-if)standby 2 priority 249 preempt
Cisco4506B(config-if)standby 2 ip 172.16.2.254
三、问题的发生和主要的故障现象
在公司的网络中，还部署有入侵检测系统IDS和入侵防御系统IPS，在图1所示的"安全中心"服务器的浏览器中，分别输入IDS和IPS的管理IP地址后，就可以对这两个安全设备进行管理和设置，也可以查看这两个安全设备上的一些日志和报警信息。这也就是在远程通过浏览器，用WEB的方式对安全设备进行远程管理和监控。网络中的IDS设备是连接到Cisco 4506A的GigabitEthernet 3/1镜像端口上，在4506A上相关的配置命令如下所示：
Cisco 4506A (config)#monitor session 1 source vlan 2 , 12 both
Cisco 4506A (config)#monitor session 1 destination interface gigabitEthernet 3/1
在"安全中心"服务器上，通过IDS设备对图1中，Vlan 2和Vlan 12两个区域的监控，IDS总会提示IP地址192.168.0.120冲突的告警信息。也就是说在图1中的Vlan 2、Vlan 20中存在两个设备都在使用IP地址192.168.0.120。因为从上面4506A上的两行配置命令可以看出IDS只监控了Vlan 2和Vlan 20两个网段的数据。
刚看到告警信息时觉得很奇怪，因为公司的网络中使用的都是172网段的地址，根本就没有部署过192的地址，所以首先想到的是不是有攻击。而且IDS设备能够显示出引起IP地址冲突的两个MAC地址：842b.2b48.a187和842b.2b58.ea6f。
四、排除故障的步骤
1、因为IDS监控的是Vlan 2和Vlan 20两个网段，所以就首先要排除冲突是发生在Vlan 2，还是发生在Vlan 20中。把在4506A上的配置"Cisco 4506A (config)#monitor session 1 source vlan 2 , 12 both"，改为"Cisco 4506A (config)#monitor session 1 source vlan 2 both"，也就是只让IDS监控Vlan 2中的数据。结果发现IDS还是会提示IP地址192.168.0.120冲突的告警信息。
接着，把配置"Cisco 4506A (config)#monitor session 1 source vlan 2 both"，改为"Cisco 4506A (config)#monitor session 1 source vlan 12 both"，也就是只让IDS监控Vlan 12中的数据。但IDS依旧会提示IP地址192.168.0.120冲突。所以说目前在Vlan 2和Vlan 20中都存在IP地址192.168.0.120冲突的问题。难道说攻击都已经渗透到网络核心层的这两个Vlan中了？
2、因为在IDS上还提示了引起IP地址冲突的两个MAC地址，而MAC地址具有全球唯一性，所以可以通过这两个MAC地址找到IP地址192.168.0.120是和什么设备关联在一起的。所以，在Cisco 4506A上执行以下命令：
Cisco 4506A#sh mac address-table | include 842b.2b
2 842b.2b48.a187 DYNAMIC Gi4/1
2 842b.2b58.ea6f DYNAMIC Gi4/2
从以上命令的输出结果，可以看出在Vlan 2中引起IP地址192.168.0.120冲突的两个设备，就是连接在Cisco 4506A端口Gi4/1上的FTP Server和连接在Cisco 4506A端口Gi4/2上的Web Server。但是在进行网络部署时，并没有在这两个服务器上配置192的IP地址。为了更加确认这种判断，还在FTP和Web服务器上的"命令行"中执行了命令"ifconfig -a"，从输出的结果中也没有看到192网段的IP地址，都是172的地址。
因为从上面的第"1"点中可以看出，在Vlan 20中也存在IP地址192.168.0.120冲突的问题。所以，在Cisco 4506B上也执行了"Cisco 4506B#sh mac address-table"命令，结果发现引起IP地址冲突的两个设备是连接在Cisco 4506B端口Gi4/1上的安全中心服务器和连接在Cisco 4506B端口Gi4/2上的DHCP Server。但是，我们在这两个服务器上也没有配置192网段的地址。
3、综合上面排查故障的过程，可以发现引起IP地址冲突的服务器都是DELL服务器。因为确实查找不到引起IP地址冲突的原因，就在百度中搜索了"戴尔192.168.0.120冲突"相关信息，发现192.168.0.120这个IP地址是戴尔服务器远程控制功能中默认使用的一个IP地址。戴尔服务器的远程控制功能是通过DRAC（Dell Remote Access Controller，戴尔远程控制卡）实现的，它是一种系统管理硬件和软件解决方案，专门用于为 Dell PowerEdge系统提供远程管理功能、崩溃系统恢复和电源控制功能。
也就是用户在远程若能访问到图1中Vlan 2或Vlan 20中的192.168.0.120这个IP地址，也就能实现在远程对Vlan 2或Vlan 20中的戴尔服务器进行简单的管理和配置。因为默认情况下具备DRAC功能的戴尔服务器，都在远程控制卡上配置了192.168.0.120这个IP地址，而且DRAC功能的实现是通过共用戴尔服务器的网口实现的。
所以，连接在Cisco 4506A上的，都位于Vlan 2中的戴尔牌FTP服务器、Web服务器和流媒体服务器，在它们连接到4506A上的网口上都同时具备了两个IP地址，一个是172网段的地址，一个是192.168.0.120地址。而且，它们都位于同一个Vlan中，所以IDS在监控时就会发出IP地址冲突的告警信息。同样道理，连接在Cisco 4506B上的安全中心服务器和DHCP服务器也会出现同样的地址冲突告警。
五、总结
1、为了验证戴尔服务器的DRAC功能，在图1的Vlan 2中接入一台笔记本电脑，电脑上的IP地址配置为192.168.0.144，子网掩码为255.255.255.0，如图2所示。
图2 笔记本电脑网络配置参数
然后，在笔记本电脑的浏览器中输入网址""回车，就可以看到如图3所示的登录界面，输入默认的用户名root，密码calvin后就可以进入到戴尔服务器的Web管理控制界面。
图3 通过DRAC管理戴尔服务器的登陆界面
在管理界面中可以看到戴尔服务器的基本配置属性，还可以对"电源"和"警报"进行管理配置，也可以浏览查看服务器的日志信息。而且在"属性"的系统摘要中，可以看到服务器的IP地址信息，其中也包括有192.168.0.120这个IP地址，如图4所示。
图4 通过DRAC管理戴尔服务器的系统摘要信息
2、要解决在IDS设备中总提示192.168.0.120冲突的告警信息，可以使用两种解决办法。一是重新启动戴尔服务器，进入到服务器的CMOS设置，在其中把"远程控制卡"的功能关闭即可。
图5 在戴尔服务器CMOS中设置DRAC卡IP地址
二是进入到服务器的CMOS中，对DRAC卡的IP地址进行设置，可以把图1中位于Vlan 2或Vlan 12中的几台戴尔服务器的IP地址设置成相互间不一样的地址，也可以把它们配置成为172网段的IP地址，这样就可以通过公司的网络，远程对各个戴尔服务器进行简单的管理和配置。如图5所示，是在CMOS中设置DRAC卡IP地址的界面。
