Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1733033
  • 博文数量: 42
  • 博客积分: 10036
  • 博客等级: 上将
  • 技术积分: 2285
  • 用 户 组: 普通用户
  • 注册时间: 2006-07-18 17:08
文章存档

2011年(3)

2010年(3)

2009年(5)

2008年(31)

分类: LINUX

2008-10-28 19:58:15

由于前一阵子的hadoop测试,公司里有人误解了其Hadoop分布式文件系统,于是解释,于是查询资料。那么如下的一段话,直接定性的解决了此问题:
Distributed Filesystems: Properties
▪ Data distributed to local storage on multiple servers
Metadata service ties distributed data into single filesystem
▪ decouples namespace from physical layout
▪ metadata either on single server, or distributed across several nodes
▪ Implementations:
1、 Special purpose: Hadoop, GoogleFS, ...
2、 Open Source: AFS, Lustre/HP SFS, Ceph, PVFS2
3、 Proprietary: GPFS, PanFS, FhGFS
其实,他们想要的是共享式文件系统:
SAN-based filesystems:
▪ Access same filesystem on shared block device from multiple
hosts
▪ Filesystem manages concurrent access through locking service
▪ Dumb „server“ (block device), complexity handled on client side
▪ Terminology: SAN filesystem, cluster filesystem
▪ Free implementations: OCFS2, GFS
▪ Proprietary implementations: mostly from major storage vendors
(cXFS, MPFS, PolyServe, TotalStorage SFS, Veritas CFS, ...)
以上的引用均来自:linux-kongress2008上的演讲稿。
在此突然想到IBM将其的HPC open stack,所以试图去找找关于此方面的内容,那么linux magzine上的这篇文章自然而然的成为我的阅读对象:
看了这篇文章,则会去参看5个链接:
1、
2、
3、
4、
5、
关于这篇文章,我本身没有话可说,因为对于一些知识都不是很了解。于是既然xCAT排在前,那么就先了解一下它了:
fedora9+xCAT 2.1 Linux Pre-Release (Development) Latest Daily Build
按照官方的文档安装,不过看我写的,不如去看这个链接的pdf文档:

由于没有环境,单机几乎什么也不能做,而去体验其web管理时,发现是个不完整的版本,那么又去看看php的源码,了解了点关于JSON方面的简介。perl,postgresql......
那么如果我有一台Blade cener +n*blade会怎么样了呢?
Rocks和oscar存在很长时间了,而不是我常常会想到开源的Beowulf。
再来看此图:

关于cluster的管理,据说是很难的一个领域,而IBM一直走在前列,xCAT2是个很强的工具。虽然不能真正的体验,但是类似kickstart的安装确实方便多了。

阅读(2631) | 评论(2) | 转发(0) |
给主人留下些什么吧!~~

chinaunix网友2008-11-12 10:42:41

不好意思,你也看到了,由于环境所限,我对xcat也仅限于表面的理解。qq是不用的了,呵呵。你可以用邮件联系我:lijiangsheng1@gmail.com。一起讨论!多谢。

chinaunix网友2008-11-11 13:57:24

hi,老大,我想请教你有关xcat的问题,能教我吗? 我的qq:15051780