Lustre的学习笔记(2006.1.21.)

Lustre        

Lustre是由Cluster File Systems公司出的高性能文件系统，于2003年12月发布1.0版。Lustre是Linux与Clusters两个单词混合而成的。

网络化存储架构主要有两种：Storage Area Network结构与Network Attached Storage结构，NFS属于后者。目前在集群中应用较多的也是NFS文件系统。但是存在开销大，带宽低，延迟大等一些问题。(我们遇到的问题还包括不够稳定。)而Lustre据说是比之于传统的分布式文件系统有很多优点，主要是performance和scalability上。

 

1. Lustre的一些特点

而Lustre除了传统的分布式文件系统的一些优点外（比如分离了计算资源与存储资源，支持冗余等），还有以下特点：

(1)                 Lustre runs on commodity hardware and uses object based disks for storage and metadata servers for storing file system metadata.

(2)                 It supports strong file and metadata locking semantics to maintain total conherency of the file systems even in the presence of concurrent access.

(3)                 It uses an open networking API, the Portals API.

(4)                 It provides security in the form of authentication, authorization and privacy by leveraging existing security systems.

(5)                 It leverages the underlying jounaling file systems provided by Linux to enable persistent state recovery, enabling resiliency and recoverability from failed OSTs(Object Storage Targets)

(6)                 Its configuration and state information is recorded and managed using open standards such as XML and LDAP.

 

2. Lustre的基本结构

主要由三部分组成:

l          Clients：客户端

l          Meta-data Server(MDS)：元数据服务器

l          Object Storage Target(OST)：存储服务器

通常这三个部分是分离的，但是也可以运行在同一个系统中。相互关系如下图所示 (出自Lustre White Paper)

 

 

 

　　

上图所示是正常情况下三部分的作用关系。在文件系统级别，Lustre将文件看成是位于MDS的对象，MDS支持所有的文件系统名字空间的操作，比如查找，创建文件，而实际的文件IO请求则是由OST完成的，MDS记录文件系统元数据的改变和集群系统的状态，并且负责失效管理。

在Lustre中，inode也是唯一的，存储着到OST上的对象的引用。在一般的文件系统中，新文件　时，文件系统要分配inode并做一些相应的初始化，　而在Lustre中，创建一个新文件时，客户端要去找元数据服务器，由元数据服务器为文件创建inode，然后再由元数据服务器请求OST来创建真正保存数据的对象。

 

3.Lustre支持的网络

It is currently in use over TCP and Quadrics networks. Myrinet, Fiber Channel, Stargen and InfiniBand supprot are under development.