由于前一阵子的hadoop测试,公司里有人误解了其Hadoop分布式文件系统,于是解释,于是查询资料。那么如下的一段话,直接定性的解决了此问题:
Distributed Filesystems: Properties
▪ Data distributed to
local storage on multiple servers
▪
Metadata service ties distributed data into single filesystem
▪ decouples namespace from physical layout
▪ metadata either on single server, or distributed across several nodes
▪ Implementations:
1、 Special purpose: Hadoop, GoogleFS, ...
2、 Open Source: AFS, Lustre/HP SFS, Ceph, PVFS2
3、 Proprietary: GPFS, PanFS, FhGFS
其实,他们想要的是共享式文件系统:
SAN-based filesystems:
▪ Access same filesystem on shared block device from multiple
hosts
▪ Filesystem manages concurrent access through locking service
▪ Dumb „server“ (block device), complexity handled on client side
▪ Terminology: SAN filesystem, cluster filesystem
▪ Free implementations: OCFS2, GFS
▪ Proprietary implementations: mostly from major storage vendors
(cXFS, MPFS, PolyServe, TotalStorage SFS, Veritas CFS, ...)
以上的引用均来自:linux-kongress2008上的演讲稿。
在此突然想到IBM将其的HPC open stack,所以试图去找找关于此方面的内容,那么linux magzine上的这篇文章自然而然的成为我的阅读对象:
看了这篇文章,则会去参看5个链接:
1、
2、
3、
4、
5、
关于这篇文章,我本身没有话可说,因为对于一些知识都不是很了解。于是既然xCAT排在前,那么就先了解一下它了:
fedora9+
xCAT 2.1 Linux Pre-Release (Development)
Latest Daily Build
按照官方的文档安装,不过看我写的,不如去看这个链接的pdf文档:由于没有环境,单机几乎什么也不能做,而去体验其web管理时,发现是个不完整的版本,那么又去看看php的源码,了解了点关于JSON方面的简介。perl,postgresql......
那么如果我有一台Blade cener +n*blade会怎么样了呢?
Rocks和oscar存在很长时间了,而不是我常常会想到开源的Beowulf。
再来看此图:
关于cluster的管理,据说是很难的一个领域,而IBM一直走在前列,xCAT2是个很强的工具。虽然不能真正的体验,但是类似kickstart的安装确实方便多了。
阅读(2674) | 评论(2) | 转发(0) |