Chinaunix首页 | 论坛 | 博客
  • 博客访问: 29335006
  • 博文数量: 2065
  • 博客积分: 10377
  • 博客等级: 上将
  • 技术积分: 21525
  • 用 户 组: 普通用户
  • 注册时间: 2008-11-04 17:50
文章分类

全部博文(2065)

文章存档

2012年(2)

2011年(19)

2010年(1160)

2009年(969)

2008年(153)

分类: 服务器与存储

2010-07-18 10:15:28

我就来介绍一下目前流行的开源分布式存储。


名 称                                介绍                            相关地址                                                                                   


lustre      lustre是一个大规模的、安全可靠的,具备高可用性的集群文件系统, 

            它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群

            文件系统,可以支持超过10000个节点,数以PB的数量存储系统。

            lustre是开放源代码的集群文件系统,采取GPL许可协议,目前在集群

            计算机里,计算机与磁盘间数据交换的提升无法跟上微处理器和内存

            增长的速度,从而也拖累了应用程序的性能,一种新兴的集群文件系统

            软件提高了I/O速度,可能降低企业购买存储设备的成本并改变企业购

            买存储的方式,集群文件系统已经在大学、实验室和超级计算机研究

            中心里使用,而且即将进入通用商业计算市场。新的集群文件系统采

            用了开源的lustre技术,由美国能源部(Department Of Energy)

            开发,惠普公司(HP)提供商业支持。它显著提高了输入输出(I/O)

            速度,目前已经在高校、国家实验室和超级计算研究中心产生了一定

            影响,未来几年中,它很有可能进入普通的商业计算机领域。

            运行在linux下,开发语言c/c++


hadoop      hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在  hadoop.apache.com

            由通用计算设备组成的大型集群上执行分布式应用的框架。

                   如下图是hadoop的体系结构:

           

                            授权协议apache,开发语言java,资源耗费有点大。


MogileFs   Mogile Fs是一个开源的分布式文件系统,主要特征包括1、应用层的组件  

          2、无单点故障 3、自动文件复制 4、具有比RAID更好的可靠性 5、无需RAID   

            nigukefs支持 ,运行在linux下。


FreeNAS    FreeNAS是网络附加存储(NAS)服务专用操作系统(FreeBSD的简化版 )。 

            基于m0n0wall防火墙,该系统通过提供磁盘管理及RAID软件,可让用户 

           home将PC转换为NAS服务器,支持FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH                         sourceforge.net/pro协议,旨在让人们重新使用旧硬件.


FastDFS    FastDFS是一个开源的分布式文件系统,它对文件进行管理, code.google.com/p/fastdfs

           功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大                        容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,               

           如相册网站,视频网站等等。FastDFS服务端有两个角色:跟踪器

           (tracker)和存储节点(storage)。跟踪器主要做调度的工作,在访问上

            起负载均衡的作用。存储节点存储文件,完成文件管理的所有功能:

            存储、同步、和提供存取接口,FastDFS同时对文件的meta data

            进行管理。所谓文件的meta data就是文件的相关属性,以键值对

            (key value pair)方式表示,如:width=1024,其中的key为width,

            value为1024。文件meta data是文件属性列表,可以包含多个

                          键值树。开发语言c/c++,运行在linux系统下。


NFS      网络文件系统是FreeBSD支持的文件系统中的一种,也被称为NFS。 

         NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS,      -HOWTO/index.html

        用户和程序可以象访问本地文件一样访问远端系统上的文件。它的

        好处是:1、本地工作站使用更少的磁盘空间,因为通常的数据可以

        存放在一台机器上而且可以通过网络访问到。2、用户不必在每个网络

        上机器里面都有一个home目录。home目录可以被放在NFS服务器

        上并且在网络上处处可用。3、诸如软驱、CDROM、和ZIP之类的

        存储设备可以在网络上面被别的机器使用。可以减少整个网络上的可

        移动介质设备的数量。开发语言c/c++,可跨平台运行。


OpenAFS   OpenAFS是一套开放源代码的分布式文件系统,允许系统之间通过局      

          域网和广域网来分享档案和资源。OpenAFS是围绕一组叫做cell的文件

          服务器组织的,每个服务器的标识通常是隐藏在文件系统中,从AFS

          客户机登陆的用户将分辨不出他们在那个服务器上运行,因为从用户的

          角度上看,他们想在有识别的Unix文件系统语义的单个系统上运行。

          文件系统内容通常都是跨cell复制,一便一个硬盘的失效不会损害Op

          enAFS客户机上的运行。OpenAFS需要高达1GB的大容量客户机缓存,

          以允许访问经常使用的文件。它是一个十分安全的基于kerbero的系统,

          它使用访问控制列表(ACL)以便可以进行细粒度的访问,这不是基于

          通常的Linux和Unix安全模型。开发协议IBM Public,运行在linux下。


MooseFs   Moose File System是一个具备容错功能的网路分布式文件统,   derf.homelinux.org   

          它将数据分布在网络中的不同服务器上,MooseFs通过FUSE使之看起来就        

          是一个Unix的文件系统。但有一点问题,它还是不能解决单点故障的        

          问题。开发语言perl,可跨平台操作。


pNFS      网络文件系统(Network FileSystem,NFS)是大多数局域网(LAN)的重要  

          的组成部分。但NFS不适用于高性能计算中苛刻的输入书橱密集型程序, 

          至少以前是这样。NFS标准的罪行修改纳入了Parallel NFS(pNFS),它

          是文件共享的并行实现,将传输速率提高了几个数量级。

      

     

                        开发语言c/c++,运行在linu下。


googleFs   据说是一个比较不错的一个可扩展分布式文件系统,用于大型的,

           分布式的,对大量数据进行访问的应用。它运行于廉价的普通硬

           件上,但可以提供容错功能,它可以给大量的用户提供性能较高

           的服务。说是google自己开发的。

阅读(1010) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~