高性能的 Linux 集群介绍 -3

 

ChinaITLab收集整理

有关集群最有趣的事情之一是，如果我们有基本的 Linux 安装，并且具备一定的故障排除的技能，只需要很少的努力就可以构建基于 Linux 的集群。让我们来看一下这是如何实现的。

对于我们的集群，要使用 MPICH 和一组普通的 Linux 工作站。为了简单起见，并且重点突出其中的基本原理，我们将构建最小的裸系统，在集群环境中可以使用它来运行并行程序。

本节中给出的 7 个步骤将显示如何构建裸系统。构建健壮的集群以及集群的管理涉及很多工作，我们在本文后面进行介绍。

如果想获得一个真正的集群，至少需要两台 Linux 机器。两个 VMware 映像也可以很好地实现这种功能。（使用 VMware，显然我们并不会期望能获得什么性能优势。实际上，其性能显然会有所下降，因为 CPU 需要进行共享。）请确保这些机器彼此之间可以使用机器名相互 ping 通。否则，就需要在 /etc/hosts 中添加适当的项。

安装 GNU C 编译器和 GNU FORTRAN 编译器。

为所有节点配置 SSH，允许不询问密码就可以执行命令。这样做的目的是能够不需询问密码就可以执行 ssh -n host whoami 这样的命令。SSH 用作不同机器之间的通信方法。（也可以使用 rsh 来实现这种功能。）

ssh-keygen -f /tmp/key -t dsa 可以在文件 key 中生成一个私钥，在文件 key.pub 中生成一个公钥。

如果正在以 root 用户的身份构建集群，并且以 root 用户的身份来运行程序（显然只有在进行实验时才会这样），那么就可以将私钥拷贝到文件 /root/.ssh/identity 中，并将公钥拷贝到集群中所有节点上的 /root/.ssh/authorized_keys 文件中。

为了确保所有的配置都能正常工作，请执行下面的命令：ssh -n hostname 'date'，并查看这个命令能否成功执行，而不会出现任何错误。应该对所有节点都执行这种测试，这样就可以确保所有节点上的设置都没有问题。

注意：可能还需要修改防火墙的配置，使其允许节点彼此之间相互进行通信。

接下来，我们将安装 MPICH。从 anl.gov 的 Web 站点（请参阅 linux/l-cluster2/?ca=drs-#resources">参考资料 中的链接）上 UNIX 版本的 MPICH。下面是一个简要介绍。

假设您已经将所的 mpich.tar.gz 放到了 /tmp 中：

cd /tmp
tar -xvf mpich.tar.gz （假设执行这个命令之后会得到一个 /tmp/mpich-1.2.6 目录）
cd /tmp/mpich-1.2.6

./configure -rsh=ssh —— 这告诉 MPICH 使用 ssh 作为通信机制。

make —— 执行完这个步骤之后，就已经安装好 MPICH 了。

要让 MPICH 知道所有的节点，请编辑文件 /tmp/mpich-1.2.6/util/machines/machines.LINUX，并将所有节点的主机名添加到这个文件中，这样安装的 MPICH 就可以知道所有的节点了。如果以后再添加新的节点，也请修改这个文件。

将目录 /tmp/mpich-1.2.6 拷贝到集群中的所有节点上。

在 examples 中运行几个测试程序：

• cd /tmp/mpich-1.2.6/utils/examples
• make cpi
• /tmp/mpich-1.2.6/bin/mpirun -np 4 cpi —— 告诉 MPICH 在 4 个处理器上运行程序；如果配置中没有 4 个处理器，也不用担心；MPICH 会创建一些进程来补偿物理硬件的缺失。

现在集群已经准备好了！正如我们可以看到的一样，所有的重头戏都可以留给 MPI 实现来完成。正如前面介绍的一样，这是一个裸集群，所需的大部分手工工作只是确保机器之间可以彼此进行通信（我们配置了 ssh，MPICH 是手工拷贝的，等等）。

有一点非常清楚，上面的集群非常难以维护。现在并不能方便地将文件拷贝到每个节点上、在每个要添加的节点上设置 SSH 和 MPI 以及在将节点移出集群时进行适当的修改，等等。

幸运的是，有一些优秀的开放源码软件资源可以帮助我们设置和管理健壮的产品集群。OSCAR 和 Rocks 就是两个这样的软件。我们在创建集群时所执行的大部分操作都可以使用这些程序自动实现。

图 1 是一个简单集群的示意图。

OSCAR 还可以支持使用 PXE（Portable Execution Environment）来自动安装 Linux。OSCAR 还可以帮助我们实现以下功能：

• 在计算节点上自动安装 Linux。
  
  
• 配置 DHCP 和 TFTP（对于使用 PXE 安装的 Linux 系统）。大部分新计算机都有一个允许使用 DHCP 服务器来引导机器的 BIOS。BIOS 有一个内建的 DHCP 客户机，它创建一个操作系统映像，并使用 TFTP 将其从 DHCP 服务器传输到要引导的机器上。这个 Linux 映像是由 OSCAR 创建的，DHCP 和 TFTP 的安装和配置都可以由 OSCAR 来处理。
  
  
• 配置 SSH。
  
  
• 自动设置 NFS。
  
  
• 安装并配置 MPI（MPICH 和 LAM/MPI）。
  
  
• 安装并配置 PVM （如果希望使用 PVM，而不是 MPI）。
  
  
• 配置头节点和计算节点之间的子网。
  
  
• 安装调度器（Open PBS 和 Maui），用于多个用户将作业提交到集群上的自动管理。
  
  
• 安装 Ganglia，用于性能监视。
  
  
• 自动配置，用于添加或删除节点。

现在 OSCAR 可以支持多个版本的 Red Hat Linux；有关其他可以支持的发行版本，请参阅 OSCAR 的 Web 站点。根据在设置时所碰到的错误，可能需要对几个脚本进行修改。

使用 OSCAR 创建 Linux 集群

让我们使用 OSCAR 资源来构建一个功能完备的集群。假设有两个或多个普通的工作站，它们都使用网络连接在一起。将其中的一个节点设置为头节点，其他节点都设置为计算节点。

正如在构建 Linux 集群时所做的一样，我们要详细介绍在头节点上所执行的步骤。OSCAR 可以自动配置其他节点，包括 OS 的安装。（请参阅 OSCAR 安装指南；下面是对安装过程的概念性介绍。）

步骤 1

在头节点上安装 Linux。确保安装 X 服务器。

步骤 2

mkdir /tftpboot, mkdir /tftpboot/rpm。将安装光盘中的所有 RPM 文件拷贝到这个目录中。这些 RPM 用来创建客户机映像。并非所有的 RPM 最终都需要，但是最好让它们自动构建这个映像。

步骤 3

确保已经安装并配置了 MySQL，并且可以从 Perl 中访问 MySQL，因为 OSCAR 将所有的配置信息都保存到了 MySQL 中，并使用 Perl 来访问这些信息。这个步骤通常是可选的，并且 OSCAR 也可以为我们执行这些步骤，但是有时这个步骤会失败，尤其是在一个尚不支持的发行版本上安装时更是如此。

步骤 4

OSCAR 源代码并编译它：

configure
make install

步骤 5

启动 OSCAR 向导。假设我们想要这个集群使用 eth1 来连接集群中的节点，请使用 /opt/oscar/install_cluster eth1。

步骤 6

在这个步骤中，一步步地通过所有的 OSCAR 设置屏幕。确保以正确的顺序执行以下步骤：

1. 选择包来定制 OSCAR 的安装。如果不熟悉这些包，可以暂时忽略。
   
   
2. 安装 OSCAR 包。
3. 构建客户机映像。这就是计算节点要使用的映像文件。
4. 定义 OSCAR 客户机。这定义的是计算节点。我们需要指定集群中想要使用的节点的个数，以及它们所使用的子网。如果现在不确定一共有多少个节点，可以稍后再来修改。
5. 将不同节点的 MAC 地址映射为 IP 地址。对于这个步骤，每个节点都必须在 BIOS 中使用 PXE 网络启动选项来启动。

步骤 7

最后，运行测试。如果一切运行良好，每个测试都应该成功。即使没有任何问题，有时第一次尝试运行时也会有些测试失败。还可以通过执行 /opt/oscar 下面的测试脚本来手工执行这些测试。

如果我们现在希望添加新的节点，可以再次启动 OSCAR 向导并添加节点。OSCAR 会使用 PXE 自动将 Linux OS 安装到这些节点上。

现在我们已经准备好集群环境了，接下来可以运行并行程序了，并且可以根据需要添加或删除新节点，并使用 Ganglia 来监视节点的状态。 

管理集群

当我们需要在一个具有大量用户的产品环境中对集群进行管理时，作业调度和监视就变得尤其重要了。

作业调度

MPI 可以在各个节点上启动并停止进程，但是这只能限定于同一个程序。在一个典型的集群上，会有很多用户都要运行自己的程序，我们必须使用调度软件来确保它们可以最优地使用集群。

一个流行的调度系统是 OpenPBS，可以使用 OSCAR 自动安装它。使用这个调度系统，可以在集群上创建作业，并将作业提交到集群上运行。在 OpenPBS 中，还可以创建复杂的作业调度策略。

使用 OpenPBS 还可以查看正在执行的作业、提交作业以及取消作业。它还可以控制某个作业可以使用的 CPU 时间的最大值，这对于系统管理员来说非常有用。

监视

集群管理中的一个重要方面就是监视，尤其是如果集群中有大量的节点就更是如此。此处有几种选择，例如 Ganglia（OSCAR 可以提供）和 Clumon。

Ganglia 有一个基于 Web 的前端界面，可以提供有关 CPU 和内存使用情况的实时监视信息；可以方便地对其进行扩展，使其只监视有关某项内容的信息。例如，使用一些简单的脚本，我们就可以让 Ganglia 汇报 CPU 的温度、风扇转速等等。在接下来的几节中，我们将编写一些并行程序，并在这个集群上运行这些并行程序。

并行算法

并行编程有自己的一些并行算法，它们可以充分利用底层硬件的性能。接下来让我们来了解一下这种算法的信息。让我们假设一个节点要对一组 N 个整数进行求和运算。用普通方法实现这种操作所需要的时间是 O(N)（如果对 100 个整数进行求和需要 1ms，那么对 200 个整数进行求和就需要 2ms，依此类推）。

这个问题看起来很难线性地提高其速度，但是值得注意的是，的确有这样一种方法。让我们来看一个在 4 个节点的集群上执行程序的例子，每个节点的内存中都有一个整数，程序的目的是对这 4 个整数求和。

考虑下面的步骤：

1. 节点 2 将自己的整数发送给节点 1，节点 4 将自己的整数发送给节点 3。现在节点 1 和节点 3 都有两个整数了。
2. 这些整数在这两个节点上分别进行求和。
3. 节点 3 将它的部分和发送给节点 1。现在节点 1 有两个部分和了。
4. 节点 1 对这些部分和进行求和，从而得出最终的总和。

正如我们可以看到的一样，如果最初有 2N 个数字，这种方法在 ~N 个步骤中就可以实现求和运算。因此算法的复杂度是 O(log2N)，这相对于前面的 O(N) 来讲是一个极大的改进。（如果对 128 个数字进行求和需要 1ms，那么使用这种方法对 256 个数字进行求和就只需要 (8/7) ~ 1.2ms。在前面的方法中，这需要 2ms。）

这种方法在每个步骤中都可以释放一半的计算节点。这种算法通常就称为递归二分和倍增（recursive halving and doubling）法，它就是在 MPI 中 reduce 函数调用的类背后所采用的机制，稍后我们就要讨论。

在并行编程中，有很多为实际问题所开发出的并行算法。

使用 MPI 进行并行编程来实现矩阵与向量的乘法

现在我们已经了解了并行编程平台的基础知识，并且准备好了一个集群，接下来就要编写一个可以很好地利用这个集群的程序。我们并不编写传统的 “hello world”，而是直接跳到一个真实的例子上，并编写基于 MPI 的程序来实现矩阵与向量的乘法。

我们将使用在 并行算法 一节中介绍的算法来很好地解决这个问题。假设有一个 4X4 的矩阵，我们希望将其与另外一个 4X1 的向量进行乘法操作。我们将对矩阵乘法的标准技术稍微进行一下修改，这样就可以使用前面介绍的算法了。

我们并不对第一行与第一列进行乘法操作，而是将第一列中的所有元素与向量中的第一个元素相乘，第二列的元素与向量中的第二个元素相乘，依此类推。采用这种方法，就可以得到一个新的 4X4 矩阵。然后，将每一行中的所有 4 个元素相加，得到一个 4X1 的矩阵，这就是最后的结果。

MPI API 有多个函数可以直接解决这个问题，如清单 1 所示。

清单 1. 使用 MPI 执行矩阵乘法

/*

To compile: 'mpicc -g -o matrix matrix.c'
To run: 'mpirun -np 4 matrix'

"-np 4" specifies the number of processors.

*/

#include 
#include 
#define SIZE 4

int main(int argc, char **argv) {
   int j;
   int rank, size, root;
   float X[SIZE];
   float X1[SIZE];
   float Y1[SIZE];
   float Y[SIZE][SIZE];
   float Z[SIZE];
   float z;
   root = 0;
   /* Initialize MPI. */
   MPI_Init(&argc, &argv);
   MPI_Comm_rank(MPI_COMM_WORLD, &rank);
   MPI_Comm_size(MPI_COMM_WORLD, &size);

/* Initialize X and Y on root node. Note the row/col alignment. 
This is specific  to C */
   if (rank == root) {
      Y[0][0] = 1; Y[1][0] = 2; Y[2][0] = 3; Y[3][0] = 4;
      Y[0][1] = 5; Y[1][1] = 6; Y[2][1] = 7; Y[3][1] = 8;
      Y[0][2] = 9; Y[1][2] = 10;Y[2][2] = 11;Y[3][2] = 12;
      Y[0][3] = 13;Y[1][3] = 14;Y[2][3] = 15;Y[3][3] = 16;
      Z[0] = 1;
      Z[1] = 2;
      Z[2] = 3;
      Z[3] = 4;
   }
   MPI_Barrier(MPI_COMM_WORLD);
   /*  root scatters matrix Y in 'SIZE' parts to all nodes as the matrix Y1 */
   MPI_Scatter(Y,SIZE,MPI_FLOAT,Y1,SIZE,MPI_FLOAT,root,MPI_COMM_WORLD);
   /* Z is also scattered to all other nodes from root. 
Since one element is sent to　all nodes, a scalar variable z is used. */
   MPI_Scatter(Z,1,MPI_FLOAT,&z,1,MPI_FLOAT, root,MPI_COMM_WORLD);
   /* This step is carried out on all nodes in parallel.*/
      for(j=0;jusing MPI_SUM (using recursive halving and doubling algorithm,
      internal to the MPI implementation) */
   MPI_Reduce(X1,X,SIZE,MPI_FLOAT,MPI_SUM, root,MPI_COMM_WORLD);
   if (rank == 0) {
      printf("%g\n",X[0]);printf("%g\n",X[1]);printf("%g\n",X[2]);
　　　printf("%g\n",X[3]);
   }
   MPI_Finalize();
       return 0;
}

性能测试

集群已经构建好，可以执行程序了，接下来需要了解这些程序的执行速度到底有多快。通常我们都认为是处理器的频率决定了性能的高低。对于特定的范围来说，这个结论是正确的；但是在不同供应商的处理器或相同供应商提供的不同处理器系列之间进行比较，没什么意义，因为不同的处理器在给定的时钟周期内所执行的任务量是不同的。在 第 1 部分 中对向量和标量处理器进行比较时，这尤其明显。

对性能进行比较的一种更加自然的方法是运行标准测试。随着时间的推移，有一个非常出名的 LINPACK 基准测试已经成为比较性能的标准。它是由 Jack Dongarra 在十年之前开发的，现在仍在由 top500.org 使用（请参阅 参考资料 中的链接）。

这个测试要解包含 N 个线性方程的密集方程组，其中浮点操作的个数是已知的（是 N^3 级别）。这个测试非常适合用来测试那些要运行科学应用程序和模拟的计算机，因为它们都要在某些步骤上试图对线性方程进行求解。

测试的标准单位是每秒执行的浮点操作数量，即 flop 数（在这种情况中，flop 或者是一个 64 位的加法操作，或者是一个 64 位的乘法操作）。这个测试要测量的内容如下：

• Rpeak，flop 的理论峰值。在 2005 年 6 月的报告中，IBM Blue Gene/L 的时钟峰值为 183.5 tflop（万亿 flop）。
• Nmax，得出最高 flop 时所使用的矩阵大小 N。对于 Blue Gene 来说，这个值是 1277951。
• Rmax，Nmax 所达到的最大 flop。对于 Blue Gene 来说，这个值是 136.8 tflop。

为了更好地理解这些数字，请考虑下面这个事实：IBM BlueGene/L 在 1 秒之内可以完成的操作在一台家用计算机上需要执行 5 天。

现在让我们来讨论一下如何对 Linux 集群进行基准测试。除了 LINPACK 之外，其他基准测试还有 HPC Challenge Benchmark 和 NAS benchmark。

对 Linux 集群进行基准测试

要在 Linux 集群上运行 LINPACK 基准测试，我们需要获得一个并行版本的 LINPACK，并对这个集群配置 LINPACK。我们将一步步地介绍整个过程。

警告：下面使用了普通的线性代数库；使用它只是作为一个参考。对于一个真正的测试来说，要使用已经针对自己的环境优化过的库。

步骤 1

从 netlib.org 下载 hpl.tgz，这是 LINPACK 基准测试的并行（MPI）版本（请参阅 参考资料 中的链接）。

步骤 2

从 netlib.org 下载 blas_.tgz，这是预先编译好的 BLAS（Basic Linear Algebra Subprograms）。为了简单起见，可以使用一个为 Linux 准备的预先编译好的 BLAS 参考实现，但是为了能够得到更好的结果，应该使用硬件供应商所提供的 BLAS，或者使用开放源码的 ATLAS 项目进行自动优化。

步骤 3

mkdir /home/linpack; cd /home/linpack（我们要将所有的东西都安装到 /home 中）。

步骤 4

解压并展开 blas_linux.tgz，这样应该会得到一个名为 blas_linux.a 的文件。如果看到了这个文件，就可以忽略所看到的错误。

步骤 5

解压并展开 hpl.tgz，这样应该会得到一个目录 hpl。

步骤 6

将所有的配置文件（例如 Make.Linux_PII_FBLAS）从 hpl/setup 拷贝到 hpl 目录中，并将 hpl 中的拷贝重命名为 Make.LinuxGeneric。

步骤 7

编辑文件 Make.LinuxGeneric 中下面的内容，并修改为适合您的环境的值：

TOPdir = /home/linpack/hpl
MPdir = /tmp/mpich-1.2.6
LAlib = /home/linpack/blas_linux.a
CC = /tmp/mpich-1.2.6/bin/mpicc
LINKER = /tmp/mpich-1.2.6/bin/mpif77

这 5 个地方指明了步骤 1 中 LINPACK 的顶级目录、MPICH 安装的顶级目录以及步骤 2 中 BLAS 参考实现的位置。

步骤 8

现在编译 HPL：

make arch=LinuxGeneric

如果没有错误，就会得到两个文件 xhpl 和 HPL.dat，它们都在 /home/linpack/hpl/bin/LinuxGeneric 目录中。

步骤 9

在集群上运行 LINPACK 基准测试之前，将整个 /home/linpack 目录拷贝到集群中的所有机器上。（如果使用 OSCAR 创建的集群并配置了 NFS 共享，就可以忽略这个步骤。）

现在 cd 到在步骤 8 中所创建的可执行程序所在的目录，并运行一些测试（例如 /tmp/mpich-1.2.6/bin/mpicc -np 4 xhpl）。应该会看到使用 GFLOP 表示的执行结果。

注：上面的步骤会基于矩阵大小的缺省设置来运行一些标准测试。使用文件 HPL.dat 来对测试进行调优。有关调优的详细信息可以在文件 /home/linpack/hpl/TUNING 中找到。

IBM Blue Gene/L

现在我们已经构建好了集群，接下来快速介绍一下 Blue Gene/L，这是一台基于集群的非常好的超级计算机。Blue Gene/L 是一项大型的工程壮举，对其进行详细介绍显然已经超出了本文的范围。现在我们只是简单介绍一下表面的东西。

三年前，地球模拟器（Earth Simulator）（向量处理器）成为世界上最快的计算机，很多人都预测集群作为一种超级计算机平台已经走向了死亡，向量处理器已经复苏了；这个结论下得太早了。Blue Gene/L 在标准的 LINPACK 基准测试中已经彻底击败了地球模拟器。

Blue Gene/L 并不是使用常用的工作站来构建的，但是它依然使用本系列文章中所讨论的标准集群技术。它使用了一个源自于本文中使用的 MPICH 的 MPI 实现。它还可以运行 700MHz 的标准 32 位 PowerPC® CPU（不过这些是基于片上系统或 SoC 技术的），这比该系列中的其他机器更能极大地降低对制冷和电源的需求。

Blue Gene/L 是一个非常大的机器，有 65,536 个计算节点（每个节点都运行一个定制的操作系统），还有 1,024 个专用的 I/O 节点（运行 Linux 内核）。使用如此多的节点，网络就尤其重要了，Blue Gene/L 可以使用 5 种不同类型的网络，每种网络都为一个特定的目的进行了优化。