关于infiniband网络

最近用debian搭建集群，接触到infiniband网络，就顺便彻底研究一下infiniband网络。
（以下部分内容摘自it168，觉的介绍的简单又不失空洞，不错，于是就搬过来了）
1． InfiniBand简介

    高带宽、低延时。IB网络最高理论带宽可以达到120Gb/s，最小延时不超过4us。
    支持多种传输服务。
    支持远端器直接访问（RDMA），包括RDMA读和RDMA写。
    网络分区功能，支持可编程的分区密钥和路由。
    用户层I/O访问功能，使用户数据可以旁路核心，实现“零拷贝”传输。
    多层次的QOS保障。

    2． 神威IB网络配置

    神威IB网络环境由四大部分组成：主机通道适配器（HCA），IB交换机（Switch）、子网管理（SM）和HPC应用支撑。其配置如下图所示：

神威IB网络配置

    HCA采用PCI-X 64位133MHz接口，单端口速率10Gb/s，兼容InfiniBand 1.1标准。
Switch支持无阻塞，全线速交换，内部集成SMA（子网管理代理）、GSA（通用服务代理）和PMA（性能管理代理）。

    SM提供字符和Web网页两种管理方式，支持可编程的分区和路由管理功能。

    HPC应用支撑软件主要包括：HCA程序、MPI环境以及多种上层协议（包括：IPoIB、SDP、SRP、uDAPL）。除此之外，还配置了IB Lustre文件系统，提供对高速共享存储的支持。

    3． 神威IB网络性能

    3.1  MPI性能

    MPI带宽以及延时指标如下图所示：

MPI带宽

    IB 传输层（Verbs层）峰值带宽为887MB/s，MPI峰值带宽为875MB/s。

MPI延时

    IB传输层最小延时4.53us，MPI环境下最小延时5.75us。可以看出，无论是带宽还是延时，IB网络性能远高于其它网络。

    3.2  IPoIB与SDP性能

    运行IPoIB、SDP协议的IB网络与千兆网络带宽比较如下图所示：

IB网络的IPoIB和SDP性能

    IPoIB实测最大带宽214MB/s，SDP实测最大带宽645MB/s，均远高于千兆网带宽。

========================================

InfiniBand规范定义了3个基本组件：

• 一个主机信道适配器（HCA）
• 一个目标信道适配器（TCA）
• 一个网络交换机

InfiniBand技术通过连接HCAs、TCAs、交换机和路由器而发挥作用（见 图3 ）。位于页节点的InfiniBand设备是产生和使用信息包的信道适配器。

HCA 和TCA可以提供一个无需CPU干预的高可靠端－至－端连接。HCA驻留在处理器节点并提供从系统内存到InfiniBand网络的通路。它也有一个可编 程的直接内存访问（DMA）引擎。该引擎具有特殊保护和地址翻译特性，从而使DMA操作可以本地进行或者通过另一个HCA或TCA远程进行。

TCA驻留在I/O单元，并提供I/O设备（如一个磁盘驱动器）或I/O网络（如以太网或光纤通道）与InfiniBand网络的连接。它实现了InfiniBand协议的物理层、链接层和传输层。

交 换机放置在信道适配器之间。它们使几个甚至几千个InfiniBand页节点可以在任意位置互连进一个单一网络，该网络同时支持多个连接。交换机既不产 生，也不使用信息包。它们只是根据信息包中路由器报头的目的地地址，将其传送过去。交换机对于节点而言是透明的，同时信息包完整无损地经过交换机网。

=====================================