Linux 对象存储文件体系的研讨攻略

Linux 对象存储文件系统的研讨攻略






　　随着高性能计算由传统的主机方式向网络化集群演化，传统的基于主机的存储架构已逐步向网络化存储发展，计算和存储分离的趋势越来越显明。针对 SAN 和 NAS 的不足，国际上已发展针对 Linux 集群的新型文件系统――对象存储文件系统的研究，本文重点阐述了存储对象文件系统的架构、技术特色，并针对 Lustre 对象存储文件系统进行了初步测试，成果表明对象存储文件系统在可扩展性、性能、易用性等方面都有明显提高，跟着网络化存储技术的一直成熟，对象存储文件系统将成为主要的发展方向。
　　
　　
一、引言
　　高性能计算已由传统的主机方式逐渐向集群方式演变，如 TOP500 中，1998 年只有 2 台系统是集群方式，而到 2003 年已有 208 台为集群系统。随着高性能计算系统结构的发展变更，传统的基于主机的存储架构已成为新的瓶颈，不能满意集群系统的需求。集群的存储系统必需有效解决两个主要问题：1提供共享访问数据，便于集群应用程序的编写和存储的负载平衡；2提供高性能的存储，在 I/O 级和数据吞吐率方面能知足成千盈百台规模的 Linux 集群服务器聚合访问的需求。泛亚娱乐|，网络化存储已成为解决集群系统高性能存储的有效技术道路。
　　
　　国际上重要有两类网络化存储架构，它们是通过命令集来辨别的。第一类是 SANStorage Area Network构造，它采取 SCSI 块 I/O 的命令集，通过在磁盘或 FCFiber Channel级的数据访问供给高性能的随机 I/O 跟数据吞吐率，它存在高带宽、低延迟的上风，在高机能盘算中占领一席之地，如 SGI 的 CXFS 文件系统就是基于 SAN 实现高性能文件存储的，然而因为 SAN 系统的价钱较高，且可扩展性较差，已不能满意成千上万个 CPU 范围的体系。第二类是 NASNetwork Attached Storage结构，它采用 NFS 或 CIFS 命令集拜访数据，以文件为传输协议，通过 TCP/IP 实现网络化存储，可扩大性好、价格廉价、用户易治理，如泛亚娱乐|在集群计算中利用较多的 NFS 文件系统，但因为 NAS 的协定开销高、带宽低、延迟大，不利于在高性能集群中运用。
　　
　　针对 Linux 集群对存储系统高性能和数据共享的需要，国外已开端研究全新的存储架构和新型文件系统，盼望能有效联合 SAN 和 NAS 系统的长处，支持直接访问磁盘以进步性能，通过共享的文件和元数据以简化管理，泛亚娱乐|对象存储文件系统已成为 Linux 集群系统高性能文件系统的研究热门，如 Cluster File Systems 公司的 Lustre、Panasas 公司的 ActiveScale 文件系统等。Lustre 文件系统采用基于对象存储技术，它来源于卡耐基梅隆大学的 Coda 名目研究工作，2003 年 12 月发布了 Lustre 1.0 版，预计在 2005 年将宣布 2.0 版。Lustre 在美国能源部 (U.S.Department of Energy：DOE)、Lawrence Livermore 国家试验室，Los Alamos 国度实验室，Sandia 国家实验室，Pacific Northwest国家实验室的高性能计算系统中已得到了初步的应用，IBM正在研制的Blue Gene系统也将采用Lustre文件系统实现其高性能存储。ActiveScale 文件系统技巧起源于卡耐基梅隆大学的 Dr. Garth Gibson，最早是由 DARPA 支持的 NASDNetwork Attached Secure Disks项目，泛亚娱乐|已是业界比拟有影响力的对象存储文件系统，荣获了 ComputerWorld 2004 年翻新泛亚娱乐技术:yuan01.bc88.info/fei奖。
　　
　　
二、对象存储文件系统
　　2.1 对象存储文件系统架构
　　对象存储文件系统的中心是将数据通路数据读或写和把持通路元数据分别，并且基于对象存储设备Objectbased Storage Device，OSD构建存储系统，每个对象存储装备具备必定的智能，可能主动管理其上的数据分布，对象存储文件系统通常有以下多少局部组成。
　　
　　1、对象
　　
　　对象是系统中数据存储的基础单位，一个对象实际上就是文件的数据和一组属性的组合，这些属性可以定义基于文件的 RAID 参数、数据分布和服务品质等，而传统的存储系统顶用文件或块作为根本的存储单位，在块存储系统中还需要始终追踪系统中每个块的属性，对象通过与存储系统通讯保护自己的属性。在存储设备中，所有对象都有一个对象标识，通过对象标识 OSD 命令访问该对象。通常有多品种型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组对象是存储设备上共享资源管理策略的对象聚集等。
　　
　　2、对象存储设备
　　对象存储设备拥有一定的智能，它有本人的 CPU、内存、网络和磁盘系统，泛亚娱乐|国际上通常采用刀片式结构实现对象存储设备。OSD 提供三个主要功效：
　　
　　1 数据存储。OSD 管理对象数据，并将它们放置在尺度的磁盘系统上，OSD 不提供块接口访问方法，Client 恳求数据时用对象 ID、偏移进行数据读写。
　　
　　2 智能散布。OSD 用其本身的 CPU 和内存优化数据分布，并支撑数据的预取。由于 OSD 可以智能地支持对象的预取，从而能够优化磁盘的性能。
　　
　　3 每个对象元数据的管理。OSD 管理存储在其上对象的元数据，该元数据与传统的 inode 元数据类似，通常包含对象的数据块和对象的长度。而在传统的 NAS 系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由 OSD 来实现，下降了 Client 的开销。
　　
　　3、元数据服务器Metadata Server，MDS
　　MDS 控制 Client 与 OSD 对象的交互，主要提供以下几个功能：
　　
　　1 对象存储访问。MDS 结构、管理描写每个文件分布的视图，许可 Client 直接访问对象。MDS 为 Client 提供访问该文件所含对象的才能，OSD 在接受到每个要求时将先验证该能力，而后才可以访问。
　　
　　2 文件和目录访问管理。MDS 在存储系统上构建一个文件结构，包括限额节制、目录和文件的创立和删除、访问掌握等。
　　
　　3 Client Cache 一致性。为了提高 Client 性能，在对象存储文件系统设计时通常支持 Client 方的 Cache。由于引入 Client 方的 Cache，带来了 Cache 一致性问题，MDS 支持基于 Client 的文件 Cache，当 Cache 的文件产生转变时，将告诉 Client 刷新 Cache，从而避免 Cache 不一致引发的问题。
　　
　　4、对象存储文件系统的 Client
　　为了有效支持 Client 支持访问 OSD 上的对象，须要在计算结点实现对象存储文件系统的 Client，通常提供 POSIX 文件系统接口，容许应用程序像履行标准的文件系统操作一样。