分类： 云计算
2013-12-05 18:12:51
GPFS 的概念
GPFS 的全称为：General Parallel File System，即通用并行文件系统。IBM GPFS 是一个可自由扩展的高性能并行文件系统，它主要有以下三个特点：
本文主要立足于 GPFS 配置的变更与性能的测试，因此 GPFS 的安装，在本文不做赘述。
GPFS 的配置变更
动态增加一个 NSD client
我们以一个 6 节点的 GPFS 集群为例：
首先，设置 NSD server 对 NSD 磁盘的访问顺序，以便实现负载均衡和多路径。
修改之前，需要先卸载所有节点上的 gpfs 文件系统：
设置磁盘的访问优先级：
mmchnsd "nsd1:78001_lpar2,78001_lpar3,78002_lpar1" mmchnsd "nsd2:78001_lpar2,78001_lpar3,78002_lpar1" mmchnsd "nsd3:78001_lpar3,78001_lpar2,78002_lpar2" mmchnsd "nsd4:78002_lpar1,78002_lpar2,78002_lpar3" mmchnsd "nsd5:78002_lpar2,78002_lpar1,78002_lpar3" mmchnsd "nsd6:78002_lpar3,78002_lpar2,78002_lpar1" mmchnsd "nsd7:78002_lpar4,78002_lpar2,78002_lpar1" mmchnsd "nsd8:78002_lpar1,78001_lpar2,78001_lpar3" mmchnsd "nsd9:78002_lpar2,78001_lpar3,78002_lpar3" mmchnsd "nsd10:78001_lpar3,78002_lpar3,78001_lpar2" |
然后，确认变更已经生效：
接下来，给 GPFS 集群增加第 7 个节点“78001_lpar1”
首先确认节点 78001_lpar1 不属于任何 GPFS 集群：
如果不进行任何配置，直接向集群增加节点会报错 :
必须在所有节点上（包括第 7 个节点）编辑 /etc/hosts 和 /.rhosts 两个配置文件
再次添加第 7 个节点，可以成功：
检查添加结果，第 7 个节点已经添加成功：
将第 7 个节点设置成仲裁节点：
接下来，启动第 7 个节点：
现在，第 7 个节点已经处于活动状态 :
在第 7 个节点上挂载 GPFS 文件系统，文件系统能够挂载成功 :
动态删除一个 NSD client
以 7 节点的 GPFS 集群为例：
下面的操作将删除第 7 个节点：78001_lpar1。
若节点处于活动状态，删除将会失败 :
因此需要，先将节点 78001_lpar1 关闭：
检查状态，已经处于关闭的状态 :
再次删除节点，可以成功；
GPFS 的性能评估
本章将会以测试的方式验证 GPFS 的并发读写特性，包含读测试、写测试以及读写混合测试。
本测试以 P7-780 服务器作为试验机，配置为 64 个处理器、512 GB 内存，然后划分 6 个 LPAR，每个 LPAR 的配置为：10C 处理区 /64G 内存。操作系统版本为 AIX 6106，GPFS 的版本为 GPFS3.4。
并发写测试：首先，为测试编写一些简单的测试脚本：
“start_write.sh”脚本，用于在所有节点上对 GPFS 文件系统中的一个发起并发写：
“view_status.sh”脚本用于监控 GPFS 集群所有节点上的 I/O 性能：
“kill_dd.sh”脚本用于杀死所有节点上的 dd if 进程：
“monitor.sh” 脚本用于启动 nmon 进程，“kill_monitor.sh”用于杀死 nmon 进程：
现在，启动并发写测试：
然后，观察所有节点上的 I/O 性能：
并发写测试结果分析
从上面的结果可以看出，GPFS 集群所有节点对 GPFS 文件系统中同一个文件的写操作是并发的，虽然各个节点的 IOPS 和吞吐量在同一时刻并不相同，但整体而言，各个节点对于文件系统中的同一个文件的写操作的 IOPS 和吞吐量是比较平稳的，这充分验证了 GPFS 作为并发文件系统的优良特性。
并发读测试停掉所有节点上的 dd if 进程：
编写一个简单的脚本“start_read.sh”，以便进行并发读测试：
运行“start_read.sh”脚本，然后运行“view_status.sh”脚本来检测实时读：
并发读测试结果分析
从上面的结果可以看到，GPFS 集群所有节点对 GPFS 文件系统中同一个文件的读操作是并发的，虽然各个节点的 IOPS 和吞吐量在同一时刻并不相同，但整体而言，各个节点对于文件系统中的同一个文件的读操作的 IOPS 和吞吐量是比较平稳的，这充分验证了 GPFS 作为并发文件系统的优良特性。
在所有的节点上，对 GPFS 文件系统中的同一个文件发起读写操作：
两个小时以后，利用“Nmon analyzer”分析收集到的 nmon 结果，可以看出所有节点对文件系统的同一文件的读写的并发的，但所有节点上的 IOPS 和吞吐量并不时刻相同：
可以看到，GPFS 集群所有节点对 GPFS 文件系统中同一个文件的混合读写操作是并发的，虽然各个节点的 IOPS 和吞吐量在同一时刻并不相同，但整体而言，各个节点对于文件系统中的同一个文件的读操作的 IOPS 和吞吐量是比较平稳的；并且，通过长达两个小时的大量混合读写，GPFS 文件系统并未出现报错以及其他任何问题，这充分验证了 GPFS 作为并发文件系统的优良特性以及稳定性。
总结
本文通过一系列测试，验证了 GPFS 的并发读写特性：GPFS 集群中的多个节点可以同时对 GPFS 文件系统中的同一个文件进行并发读写，并且吞吐量和 IOPS 比较平稳。这一点，可以提高客户应用的性能以及稳定性，是十分有用的。
