infiniband 卡 做双卡 bonding

    infiniband 万兆卡在项目中多次用到，以前邮件中对此讨论也比较多，此次邮政个人理财系统中遇到的情况大致如下：

    每台机器有两块infiniband 卡，每块卡有两个口，安装驱动之后在系统识别到四个设备，ib0-ib3。HPDL580上的两块卡时竖插的，经过测试，离电源一侧远的卡上是ib0, ib1，上面的口是ib0；离电源一侧近的卡上是ib2,ib3,同样上面的口是ib2。对于这部分，是通过/sys/class/infiniband/mlx4_[0,1]/ports/[0,1]/phys_status查看是否linkup来确定的。
    另外奇怪的一点是：系统中ib0和ib2的MAC地址一模一样，ib1和ib3也是一样，但的确不影响使用，不过为防万一，所以后面配置的时候，是ib0 和ib3绑定的。

    对于infiniband驱动的安装，参照如下：

    驱动安装方法如下：

0、删除iscsi包，infiniband驱动和系统的iscsi有冲突

rpm -e iscsi

1、解压OFED-1.4.tgz

tar xzvf OFED-1.4.tgz -C /tmp

2、安装驱动

cd /tmp/OFED-1.4

执行./install.pl后出现如下选项：

1) View OFED Installation Guide
2) Install OFED Software
3) Show Installed Software
4) Configure IPoIB
5) Uninstall OFED Software

Q) Exit

选择2后出现如下选项：

1) Basic (OFED modules and basic user level libraries)
2) HPC (OFED modules and libraries, MPI and diagnostic tools)
3) All packages (all of Basic, HPC)
4) Customize

Q) Exit

选择1，基本安装。选择2和3都无法编译通过，其实可以修改inistall.py脚本解决。
安装程序开始编译并安装驱动。
安装完成为它会要求你配置新设备ib0、ib1、ib2、ib3。
按照提示可以输入IP，NETMASK，NETWORK,BROADCAST。

但是因为此项目需要做双infiniband卡绑定，所以此步骤直接跳过（跳过可以输入n不配置，也可以ctrl+c）

/etc/modprobe.conf中默认只有ib0和ib1，需要添加ib2和ib3（此步不做亦可）

alias ib0 ib_ipoib
alias ib1 ib_ipoib
alias ib2 ib_ipoib
alias ib3 ib_ipoib

安装时选择的Basic安装方式，infiniband中支持绑定的模块没有安装上去，还需要手工安装一下

rpmbuild --rebuild ../SRPMS/ib-bonding-0.9.0-36.src.rpm

编译完毕会提示rpm包位置，安装即可

rpm -ibh /usr/src/asianux/RPMS/x86-64/ib-bonding-0.9.0-36AXS2.x86-64.rpm

安装完毕，即可配置双infiniband卡绑定

ib-bond --bond-name bond1 --bond-ip 192.168.6.1 --slaves ib0,ib3

系统中已经有bond0本地网卡的绑定，所以infiniband网卡绑定成bond1，使用ib0和ib3绑定。

此命令添加到/etc/rc.local实现开机启动生效。

注意：
1、安装版infiniband的ib-bonding包之后，系统中的bonding内核模块被infiniband的bonding模块替代，所以在系统中想service network restart的时候，本地网卡所做的bond0无法正常启动，重启系统才行（当然也可以删除infiniband的bonding模块，重新depmod -a）。
2、双infiniband交换机的时候，两台交换机需要串联。