分类： LINUX
2008-04-28 22:29:25
ChinaITLab收集整理 这两篇系列文章简要介绍采用 Linux 集群技术的高性能计算（HPC）的概念，展示如何构建集群并编写并行程序。本文是两篇系列文章中的第一篇，讨论了集群的类型、用途、HPC 基础、Linux 在 HPC 中的角色以及集群技术日益增长的原因。第 2 部分将介绍并行算法的知识，并介绍如何编写并行程序、如何构建集群以及如何进行基准测试。
HPC 体系架构的类型
大部分 HPC 系统都使用了并行 的概念。有很多软件平台都是面向 HPC 的，但是首先让我们先来了解一下硬件的知识。
HPC 硬件可以分为 3 类：
对称多处理器（SMP）
SMP 是 HPC 采用的体系架构之一，其中有多个处理器会共享内存。（在集群中，这也称为 大规模并行处理器（massively parallel processor，MPP），它们并不需要共享内存；稍后我们将更详细介绍这方面的内容。）与 MPP 相比，SMP 通常成本更高，而且可伸缩性较差。
向量处理器
顾名思义，在向量处理器中，CPU 被优化以便很好地处理向量数组的运算。向量处理器系统的性能很高，在 20 世纪 80 年代到 90 年代早期一度在 HPC 体系架构中占有统治地位，但是最近几年以来，集群变得更加流行了。
集群
集群是最近几年中最为主要的一种 HPC 硬件：集群（cluster） 就是一组 MPP 的集合。集群中的处理器通常被称为 节点，它具有自己的 CPU、内存、操作系统、I/O 子系统，并且可以与其他节点进行通信。目前有很多地方都使用常见的工作站运行 Linux 和其他开放源码软件来充当集群中的节点。
接下来您将看到这些 HPC 硬件之间的区别，但是首先让我们从集群开始。
集群定义
术语“集群（cluster）”在不同的地方可能会意味着不同的意义。本文重点介绍以下三种类型的集群：
故障迁移集群
最简单的故障迁移集群有两个节点：一个节点是活动的，另外一个节点是备用的，不过它会一直对活动节点进行监视。一旦活动节点出现故障，备用节点就会接管它的工作，这样就能使得关键的系统能够持续工作。
负载均衡集群
负载均衡集群通常会在非常繁忙的 Web 站点上采用，它们有多个节点来承担相同站点的工作，每个获取 Web 页面的新请求都被动态到一个负载较低的节点上。
高性能集群
高性能集群用来运行那些对时间敏感的并行程序，它们对于科学社区来说具有特殊的意义。高性能集群通常会运行一些模拟程序和其他对 CPU 非常敏感的程序，这些程序在普通的硬件上运行需要花费大量的时间。
图 1 解释了一个基本的集群。本系列文章的第 2 部分将展示如何创建这种集群，并为其编写程序。
图 1. 基本的集群
网格计算 是一个更为广泛的术语，通常用来代表利用松耦合系统之间的协作来实现面向服务的架构（SOA）。基于集群的 HPC 是网格计算的一个特例，其中节点之间都是紧耦合的。网格计算的一个成功的、众所周知的项目是 SETI@home，即搜索外星智慧的项目，它使用了大约一百万台家用 PC 在屏保时的空闲 CPU 周期来分析无线电天文望远镜的数据。另外一个类似的成功项目是 Folding@Home 项目，用来进行蛋白质的折叠计算。
高性能集群的常见用途
几乎所有的产业界都需要快速的处理能力。随着越来越便宜而且快速的计算机的出现，更多公司表现出了对利用这些技术优势的兴趣。人们对于计算处理能力的需求是没有上限的；尽管处理能力在迅速提高，但是人们的需求仍然超出计算能力所能提供的范围。
生命科学研究
蛋白质分子是非常复杂的链，实际上可以表示为无数个 3D 图形。实际上，在将蛋白质放到某种溶液中时，它们会快速“折叠”成自己的自然状态。不正确的折叠会导致很多疾病，例如 Alzheimer 病；因此，对于蛋白质折叠的研究非常重要。
科学家试图理解蛋白质折叠的一种方式是通过在计算机上进行模拟。实际上，蛋白质的折叠进行得非常迅速（可能只需要 1 微秒），不过这个过程却非常复杂，这个模拟在普通的计算机上可能需要运行 10 年。这个领域只不过是诸多业界领域中很小的一个，但是它却需要非常强大的计算能力。
业界中其他领域包括制药建模、虚拟外科手术训练、环境和诊断虚拟化、完整的医疗记录数据库以及人类基因项目。
石油和天然气勘探
震动图中包含有大陆和洋底内部特性的详细信息，对这些数据进行分析可以帮助我们探测石油和其他资源。即便对于一个很小的区域来说，也有数以 TB 计的数据需要重构；这种分析显然需要大量的计算能力。这个领域对于计算能力的需求是如此旺盛，以至于超级计算机大部分都是在处理这种工作。
其他地理学方面的研究也需要类似的计算能力，例如用来预测地震的系统，用于安全性工作的多谱段卫星成像系统。
图像呈现
在工程领域（例如航天引擎设计）操纵高分辨率的交互式图像在性能和可伸缩性方面历来都是一种挑战，因为这要涉及大量的数据。基于集群的技术在这些领域已经取得了成功，它们将渲染屏幕的任务分割到集群中的各个节点上，在每个节点上都利用自己的图形硬件来呈现自己这部分屏幕的图像，并将这些像素信息传送到一个主节点上，主节点对这些信息进行组合，最终形成一个完整的图像。
这个领域中的例子目前才不过是冰山一角；更多的应用程序，包括天体物理模拟、气象模拟、工程设计、金融建模、证券模拟以及电影特技，都需要丰富的计算资源。对于计算能力越来越多的需求我们就不再进行介绍了。
Linux 和集群如何改变了 HPC
在基于集群的计算技术出现之前，典型的超级计算机都是向量处理器，由于它们全部采用专用的硬件和软件，因此成本通常会超过一百万美元。
随着 Linux 和其他免费的集群开放源码软件组件的出现和常用硬件处理能力的提高，这种情况现在已经发生了很大的变化。您可以利用少量的成本来构建功能强大的集群，并能够根据需要来添加其他节点。
GNU/Linux 操作系统（Linux）已经在集群中得到了大量的采用。Linux 可以在很多硬件上运行，并且具有高质量的编译器和其他软件，例如并行文件系统和 MPI 实现在 Linux 上都是免费的。采用 Linux，用户还可以针对自己的任务负载对内核进行定制。Linux 是构建 HPC 集群的一个非常好的平台。
理解硬件：向量机与集群
要理解 HPC 硬件，对向量计算和集群计算进行一下比较是非常有用的。二者是互相竞争的技术（地球模拟器 是一台向量超级计算机，目前仍然是最快的 10 台机器之一）。
从根本上来讲，向量处理器和标量处理器都是基于时钟周期来执行指令的；使它们产生区别的是向量处理器并行处理与向量有关的计算的能力（例如矩阵乘法），这在高性能计算中是非常常见的。为了展示这一点，假设您有两个双精度的数组 a 和 b，并且要创建第三个数组 x，比如 x[i]=a[i]+b[i]。
任何浮点操作，例如加法和乘法，都可以通过几个步骤来实现：
向量处理器通过使用 流水线（pipeline） 技术在内部对这些步骤进行并行处理。假设在一个浮点加法运算中有六个步骤（与 IEEE 算术硬件一样），如图 2 所示：
图 2. IEEE 算术硬件中的六级流水线
向量处理器可以并行处理这六个步骤 —— 如果第 i 个数组元素是在第 4 个步骤中被添加的，那么向量处理器就会为第 (i+1) 个元素执行第 3 个步骤，为第 (i+2) 个元素执行第 2 个步骤，依此类推。正如您可以看到的一样，对于一个 6 级的浮点加运算来说，加速比非常接近于 6（在开始和结束时，这六个步骤并不是都处于活动状态的），因为在任何给定的时刻（图 2 所示的红色），这些步骤都是活动的。这样做的一大优点是并行处理都是在幕后进行的，您并不需要在程序中显式地进行编码。
对于大部分情况来说，这六个步骤都可以并行执行，这样就可以获得几乎 6 倍的性能提高。箭头表示了对第 i 个数组元素所进行的操作。
与向量处理相比，基于集群的计算采用的是完全不同的一种方法。它不使用专门优化过的向量硬件，而是使用标准的标量处理器，但是它采用了大量的处理器来并行处理多个计算任务。
集群的特性如下：
