高性能计算系统存储解决方案

   油气田勘探开发是一个集石油天然气地质勘探、油气田开发、地质开发试验和计算机应用等为一体的综合性应用科学，具有数据报表类型多，数据量非常庞大等特点，每一个勘探单点都会有几个GB甚至几十个GB的数量数。随着技术的发展和进步，原油公司对地球勘探开发的要求越来越高，需要处理的数据量呈“指数级”难以想象的速度增长，需要借助高性能机群的数据处理能力，在最短的时间里对采集数据进行精细处理，通过综合解释研究，为下一步的钻井、开采提供真实反映地下构造的基础数据。

我们先来分析目前地球勘探开发单位常常会采用如下图所示的高性能计算系统的网络结构：

(图1)

上图所示结构以FC网络和千兆以太网络为基础，服务器节点分为计算节点和IO节点两种类型，其中计算节点专门负责数据处理和分析，IO节点负责传输数据。计算节点通过IO节点对核心存储设备进行读写操作。

采用这种结构主要是基于成本控制方面的考虑。如果系统采用FC-SAN存储网络架构，那么每一台计算节点上就必须安装1块或2块HBA卡。大量HBA卡需要的建设成本就会非常高。与大量HBA卡相对应的，网络层需要增加大量的价格昂贵的光纤通道交换机。高性能计算系统的节点越多，建设成本就越高。

将计算节点和IO节点分开可以大大降低建设成本，但随之也会带来几个问题，

1、多台计算节点需要通过IO节点才可能访问到存储设备中的数据，数据读写的效率与IO节点的运行状相关，因此IO节点不可必免地会成为计算节点的性能瓶颈。

2、IO节点通过以太网络与计算节点连接，提供数据传输服务。由于以太网络的数据传输效率相对较低，单台IO节点根本无法同时为所有的计算节点提供数据传输服务，因此大型的高性能计算系统一般都会有几台甚至几十台IO节点。具有大量的IO节点的高性能计算系统，其成本仍然会很高。

3、每一个IO节点都需要安装集群软件和负载均衡软件，以防止计算节点的数据传输压力集中到一个IO节点上。而高性能计算系统中所采用的集群软件和负载均衡软件一般都也非常贵，且不能保证多个IO节点上的压力完全相同，往往会出现个别IO节点压力过载时，大多数IO节点仍然欠载。过载节点的出现会大大降低整个系统中的工作效率。

二、解决方案
为了解决图1所示网络结构中存在的问题，UIT建议高性能计算系统的存储网络采用IP-SAN架构，解决方案如下图所示：

（图2）

系统采用纯千兆以及网架构，核心存储设备采用高性能 的ISCSI设备，计算节点和ISCS存储设备之间通过千兆以太网交换机连接。

核心存储采用1台或多台高性能ISCSI存储设备UIT BS3000，其独有的存储虚拟化管理功能，可自动实现多个端口之间、多个BS3000设备之间的负载均衡。增加BS3000的数量不仅可以大幅度增加容量，还可以大幅度增加存储的性能，从而提高整个存储系统的可用带宽和IOPS。

方案优势：
1、节省了图1系统必须的光纤交换机和FC-HBA卡，因而可大幅度地降低系统的建设成本。

2、在的管理下，核心存储设备的容量可同时共享给所有的计算节点，任何一个计算节点都可以通过以太网络直接对核心存储设备进行读写访问，从而真正地发挥出存储设备和节点的性能，提高系统的工作效率。

3、系统中任何一个节点既是IO节点，又是计算节点，节省了图1系统所必需的大量只能用于数据传输的IO节点，节省下来的费用可用来购买更多的计算节点或更大的存储容量。

4、少了IO节点，网络中也就不会出现性能和带宽瓶颈。

5、不再需要价格昂贵的集群和负载均衡软件，消除了因集群软件和负载均衡软件带来的性能降低，在节省成本的同时，还可以进行提高网络系统的性能。