Intel X710 板载万兆卡驱动问题

========phanx.com========
Author:   phanx
Updated: 2016-1-12
转载请保留作者信息
=========================

现在DELL的PowerEdge R730/R630上除了原有的 Intel X520 DP 10Gb SR/SFP+, + I350 DP 1Gb Ethernet, Network Daughter Card, with SR Optics 板载2万兆＋2千兆口外，现在还提供 Intel X710 DP 10Gb SR/SFP+, + I350 DP 1Gb Ethernet, Network Daughter Card, with SR Optics 这种新的板载万兆模块加千兆口。

这种X710的万兆口，驱动和原来X520芯片的不一样，以前X520(Intel 82599EN)的驱动模块是 ixgbe.ko，现在X710的驱动模块是i40e.ko。 而RHEL 6.6 自带的i40e使用时候有问题，虽然卡可以识别，设备能配置地址，收包看起来是可以的，但是无法正常发送数据包出去。
今天同事在安装一套RAC的时候发现两台机器两个HAIP接口配好地址后，始终无法ping通。
我tcpdump看了一下，在一个节点上收不到另一个节点发的ARP Request，开始还以为是DELL Force10交换机的问题，反复调交换机配置，后来折腾很久才发现是网卡驱动的问题。

用ethtool看网卡状态正常，tcpdump可以收到交换机发送过来的STP的BPDU。

[root@msdb1 ~]# ethtool em1
Settings for em1:
        Supported ports: [ FIBRE ]
        Supported link modes:   10000baseT/Full 
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Advertised link modes:  10000baseT/Full 
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Speed: 10000Mb/s
        Duplex: Full
        Port: FIBRE
        PHYAD: 0
        Transceiver: external
        Auto-negotiation: off
        Supports Wake-on: g
        Wake-on: d
        Current message level: 0x0000000f (15)
                               drv probe link timer
        Link detected: yes
[root@msdb1 ~]# 
[root@msdb1 ~]# 
[root@msdb1 ~]# 
[root@msdb1 ~]# tcpdump -i em1 -nn -vvv arp
tcpdump: listening on em1, link-type EN10MB (Ethernet), capture size 65535 bytes
11:08:32.887717 STP 802.1w, Rapid STP, Flags [Learn, Forward, Agreement], bridge-id 1000.00:01:e8:d8:5a:8f.8090, length 43
        message-age 1.00s, max-age 20.00s, hello-time 2.00s, forwarding-delay 15.00s
        root-id 0000.00:01:e8:d8:4f:43, root-pathcost 600, port-role Designated
11:08:33.365958 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.10.2 tell 192.168.10.1, length 28
11:08:34.365987 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.10.2 tell 192.168.10.1, length 28


RHEL 6.6 自带的驱动信息
[root@msdb1 ~]# modinfo i40e
filename:       /lib/modules/2.6.32-504.el6.x86_64/kernel/drivers/net/i40e/i40e.ko
version:        0.3.46-k
license:        GPL
description:    Intel(R) Ethernet Connection XL710 Network Driver
author:         Intel Corporation,
srcversion:     C144B030388D3AC57153823
alias:          pci:v00008086d00001585sv*sd*bc*sc*i*
alias:          pci:v00008086d00001584sv*sd*bc*sc*i*
alias:          pci:v00008086d00001583sv*sd*bc*sc*i*
alias:          pci:v00008086d00001582sv*sd*bc*sc*i*
alias:          pci:v00008086d00001581sv*sd*bc*sc*i*
alias:          pci:v00008086d00001580sv*sd*bc*sc*i*
alias:          pci:v00008086d0000157Fsv*sd*bc*sc*i*
alias:          pci:v00008086d00001574sv*sd*bc*sc*i*
alias:          pci:v00008086d00001573sv*sd*bc*sc*i*
alias:          pci:v00008086d00001572sv*sd*bc*sc*i*
depends:        ptp
vermagic:       2.6.32-504.el6.x86_64 SMP mod_unload modversions 
parm:           debug:Debug level (0=none,...,16=all) (int)

从新安装的驱动

[root@msdb1 ~]# modinfo i40e
filename:       /lib/modules/2.6.32-504.el6.x86_64/kernel/drivers/net/i40e/i40e.ko
version:        1.2.21
license:        GPL
description:    Intel(R) Ethernet Connection XL710 Network Driver
author:         Intel Corporation,
srcversion:     02CB6780B2C9B25499624D3
alias:          pci:v00008086d00001586sv*sd*bc*sc*i*
alias:          pci:v00008086d00001585sv*sd*bc*sc*i*
alias:          pci:v00008086d00001584sv*sd*bc*sc*i*
alias:          pci:v00008086d00001583sv*sd*bc*sc*i*
alias:          pci:v00008086d00001581sv*sd*bc*sc*i*
alias:          pci:v00008086d00001580sv*sd*bc*sc*i*
alias:          pci:v00008086d0000157Fsv*sd*bc*sc*i*
alias:          pci:v00008086d00001574sv*sd*bc*sc*i*
alias:          pci:v00008086d00001572sv*sd*bc*sc*i*
depends:        configfs,ptp
vermagic:       2.6.32-504.el6.x86_64 SMP mod_unload modversions 
parm:           debug:Debug level (0=none,...,16=all) (int)


虽然，RHEL一般自带驱动可以用，但是对于HBA卡，网卡这种，最好还是用硬件厂商提供的驱动好些。

我们的PXE安装环境是会根据相应硬件自动更新相关驱动的，但是这两台机器的OS不是从PXE环境安装出来的，是同事手工安装的，没有更新驱动。所以就发现了这个问题，折腾了一下午。
看来还是要坚持标准化流程才是王道。