从TOP500看高性能计算市场

作者：张瀚文

  高性能计算一直以来都带有些许神秘色彩，应用在像大规模科学问题，如天气预报、医学研究、地形分析、资源勘探和生物制药等领域；或者应用在存储和处理海量数据，像数据挖掘、数据建模、虚拟仿真、图象处理和生命科学等领域。不过，伴随用户对云计算等网络计算技术的熟悉，高性能计算的市场亦在逐步扩大。

 

高性能计算是一个广义的概念，不仅包含硬件、软件、存储和互联技术，还包括应用、体系架构、解决方案和服务一些应用服务。

 

 

高性能计算可以针对性能和吞吐量两方面。针对高性能的高性能计算通常采用通过增加一台共享内存式服务器的CPU及内存来提升系统性能（纵向扩展）；而针对高吞吐量的高性能计算通过增加更多的服务器来提升整体计算能力，其中还包括高吞吐计算(High-throughput Computing)，即可以分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联；以及分布计算(Distributed Computing)可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。许多用户会将云计算和高性能计算集群搞混淆，经常会遇到这样的问题“我有许多台服务器，是否可以通过云计算技术将其整合成一个大型系统？”，这其实是指高性能计算集群，即通过集群管理软件和互联设备使用很多的服务器操作起来像一台大服务器。

 

虽然每半年一度的HPC TOP500愈加受到各方的争议，但其基于全球目前正在使用的前500家高性能计算应用，仍不失为衡量现今市场高性能计算的最佳风向标。从近期HPC TOP500的厂商排位中，我们可以看到HP和IBM仍是高性能运算的主要供应商。不过，值得一提的是，根据IDC的一份调查，Dell正以市场第三位的出货量逐步扩大其在市场上的占用率。

 

而从处理器架构上看，Intel x86架构占据着主导地位，目前IBM、HP、Dell等厂商的相关高性能解决方案主要基于Intel x86平台架构，HP虽然一直致力于Intel IA-64的投入，但其主要高性能解决方案仍基于Intel x86平台；而IBM在Power 7处理器上的性能突破主要体现在其高端用户中；由于Sun去年的一系列变数，目前SPARC的在高性能计算领域市场主要依靠日本富士通公司的持续研发，而Sun在AMD市场原有投入的后续发展目前亦难有定论。

 

 

一个常见的高性能计算软件体系架构如下图所示，其中包含：

1.集群操作系统（Windows,Linux,UNIX)

2.系统安装软件（针对大规模集群系统，可选）

3.调度管理软件（OpenPBS,PBSPro,LSF）

4.并行计算环境（MPI,MPICH,OpenMP)

5.文件系统（NFS,Samba）

6.集群监控软件（PINK，可选）

7.算数库

8.应用（用户提供）

 

  在TOP500高性能计算中，Linux绝对是主导操作系统，占据约90%的市场。而在通讯网络架构上，随着以太网计算近年的高速发展，正逐步扩大在该领域的份额；虽然Infiniband亦占据市场的半壁江山，但受其成本制约，目前主要应用在高端用户中。

 

 

高性能计算的衡量依据一直是业内争论的焦点，以往Linpack以处理器主频，内核模块数，内核数量，时钟周期执行数量的单一计算方式日益受到用户的质疑，SPEC CPU2006（以单/多CPU性能及作业吞吐能力为基准值）和SPEC OMP2001（以共享内存的计算机使用共享内存并行模式(OpenMP)的并行效率和加速比以基准值）也难以为所有用户所接受，实际应用环境中的高性能计算还受到应用软件和调优工具的影响。

 

据预期，2011年高性能计算仍将以3%左右的速度增长。在这其中，IBM和HP两家业内巨头或许仍将占据其已有市场，而Dell等公司的实力亦不容小觑，毕竟我们希望看到一个日益精彩的高性能计算市场。