高速互连网络

2.2 高速互连网络网络是集群最关键的部分.它的容量和性能直接影响了整个系统对高性能计算(HPC)的适用性。根据我们的调查,大多数高性能科学计算任务都是通信密集型的,因此如何尽可能的缩短节点间的通信延迟和提高吞吐量是一个核心问题。2．2．1快速以太网快速以太网是运行于UTP或光缆上的100Mb/S的高速局域网的总称。由于TCP/IP运行时对CPU的占用较多，并且理论上的传输速度和延迟都比较差，现在我们在HPC集群中计算网络的选择上基本不考虑这个方案了。2．2．2千兆以太网（Giganet）Giganet 是用于 Linux 平台的虚拟接口 (VI) 体系结构卡的第一家供应商，提供 cLAN 卡和交换机。VI 体系结构是独立于平台的软件和硬件系统，它由 Intel 开发，用于创建群集。它使用自己的网络通信协议在服务器之间直接交换数据，而不是使用 IP，并且它并不打算成为 WAN 可路由的系统。Giganet 产品当前可以在节点之间提供 1 Gbps 单向通信，理论最小延迟为 7 微秒，实测延迟为50-60微秒左右，并且运行时对CPU的占用也比较大。2．2．3 IEEE SCIIEEE 标准 SCI 的延迟更少（理论值1.46微秒, 实测值3-4微秒），并且其单向速度可达到 10Gb／秒, 与InfiniBand 4X的理论值一样。SCI 是基于环拓扑的网络系统，不像以太网是星形拓扑。这将使在较大规模的节点之间通信速度更快。更有用的是环面拓扑网络，它在节点之间有许多环形结构。两维环面可以用 n 乘 m 的网格表示，其中在每一行和每一列都有一个环形网络。三维环面也类似，可以用三维立体节点网格表示，每一层上有一个环形网络。密集超级计算并行系统使用环面拓扑网络，为成百上千个节点之间的通信提供相对最快的路径。
什么是SCI互连技术？
    符合ANSI/IEEE 1596-1992的SCI技术定义了点到点高速通信端口和数据包协议集；
    SCI作为一种开放总线技术，实现了高带宽（10Gbit/s）、低延迟（1.46微秒）的网络通讯；
    SCI端口是双向连接的，保证了数据读、写操作可以同步进行；
    支持多种CPU类型(Intel、AMD、Sun、Alpha)；
    支持多种流行操作系统（Windows2000、NT、RedHat Linux、SuSE Linux、 Solaris、Lynx、Tru64
    Unix、VxWorks）；
    SCI协议支持共享存储器系统，并包含Cache一致性协议集；
    网络拓扑灵活，可支持星型网，一维环形网(Ring)及二维,三维环形网格拓扑；
    为执行关键任务应用而设计，支持热插拔和多冗余结构。
MicrosoftInternetExplorer402DocumentNotSpecified7.8Normal0

2．2．4Myrinet互连技术Myrinet 提供网卡和交换机，其单向互连速度最高可达到 1.28 Gbps。网卡有两种形式，铜线型和光纤型。铜线型 LAN 可以在 10 英尺距离内以全速进行通信，而在长达 60 英尺距离内以半速进行操作。光纤型 Myrinet 可以在 6.25 英里长的单模光纤或者 340 英尺长的多模光纤上全速运行。Myrinet 只提供直接点到点、基于集线器或基于交换机的网络配置，但在可以连接到一起的交换光纤数量方面没有限制。添加交换光纤只会增加节点间的延迟。两个直接连接的节点之间的平均延迟是 5 到 18 微秒，比以太网快。由于Myrinet板上集成可编程微处理器，能满足一些研究者的特定需要。2．2．5InfiniBand互连技术

InfiniBand是由InfiniBand协会开发的体系结构技术，它是一种用于实现基于通道的交换式技术的通用I/O规范。由于IB的理论带宽极高——30Gbit/S, 因此备受业内关注。InfiniBand的解决方案包括一个连接多个独立处理器和I/O平台的系统区域网络，它所定义的通信和管理结构同时支持I/O和处理器与处理器之间的通信。InfiniBand系统可以是只有少量I/O设备的单处理器服务器，也可以是大型的并行超级计算机。 InfiniBand规范定义了3个基本组件：

MicrosoftInternetExplorer402DocumentNotSpecified7.8Normal0

一个主机信道适配器（HCA） 

一个目标信道适配器（TCA）

一个网络交换机

InfiniBand技术通过连接HCAs、TCAs、交换机和路由器而发挥作用（见图1）。位于页节点的InfiniBand设备是产生和使用信息包的信道适配器。

MicrosoftInternetExplorer402DocumentNotSpecified7.8Normal0

HCA和TCA可以提供一个无需CPU干预的高可靠端－至－端连接。HCA驻留在处理器节点并提供从系统内存到InfiniBand网络的通路。它也有一个可编程的直接内存访问（DMA）引擎。该引擎具有特殊保护和地址翻译特性，从而使DMA操作可以本地进行或者通过另一个HCA或TCA远程进行。TCA驻留在I/O单元，并提供I/O设备（如一个磁盘驱动器）或I/O网络（如以太网或光纤通道）与InfiniBand网络的连接。它实现了InfiniBand协议的物理层、链接层和传输层。交换机放置在信道适配器之间。它们使几个甚至几千个InfiniBand页节点可以在任意位置互连进一个单一网络，该网络同时支持多个连接。交换机既不产生，也不使用信息包。它们只是根据信息包中路由器报头的目的地地址，将其传送过去。交换机对于节点而言是透明的，同时信息包完整无损地经过交换机网。与目前的通信协议如TCP/IP相比，InfiniBand技术的一个主要变化是InfiniBand硬件承担了原来由CPU完成的许多I/O通信工作，因此在处理并发的多路通信任务时没有现有通信协议所固有的额外开销。在无需系统核心层介入的情况下，它就能够提供零数据拷贝的传输，并使用硬件提供高可靠性和容错性的通信，最终改善了系统的带宽、延迟和可靠性等问题。