Chinaunix首页 | 论坛 | 博客
  • 博客访问: 202479
  • 博文数量: 179
  • 博客积分: 5010
  • 博客等级: 大校
  • 技术积分: 2040
  • 用 户 组: 普通用户
  • 注册时间: 2008-07-25 10:25
文章分类

全部博文(179)

文章存档

2011年(1)

2008年(178)

我的朋友
最近访客

分类: 服务器与存储

2008-07-25 10:31:59

国家超级计算应用中心(NCSA)

存储概况:该超级计算中心为未来几年的数据增长做好了准备,按照预期,该中心的SAN规模将扩大到现在的四倍。

核心供应商:Brocade、EMC、DataDirect Networks、Engenio、Finisar、Nagios

美国国家超级计算应用中心(National Center for Supercomputing Applications,NCSA)位于Urbana Champaign的伊利诺大学校内,NCSA为一些全球最大的超级计算机设计软件,其自身也进行一些领域的研究,例如DNA序列和天体物理学等。

该中心目前拥有1.4PB的数据,存放在中心的SAN架构的磁盘存储中,这一数据到2012年将达到10PB的天量。该中心的SAN主要使用的是Brocade Silkworm交换机和来自DataDirect Networks公司和Engenio公司的硬件,一个来自EMC的4PB DiskXtender存档系统支持着这个SAN。

NCSA的技术计划经理Michelle Butler表示,“按照目前的许可证协议,存档可以增长到10PB。”“存档规模每年都会翻一翻,所以在不久的将来,我们就会增长到10PB的规模。”

该中心的SAN采用了光纤通道连接,不过NCSA目前正在考虑对该架构进行升级。Butler 表示,“现在存档的规模只有2-4Gb/s,但是我们已经为10Gb/s做了很多准备工作,并试图确定我们的数据将在什么时候增长到这一规模。”

由于数据增长的速度非常快,NCSA不得不认真考虑如何监控自己的基础架构。

NCSA的技术经理Andy Loftus表示,“由于工作量太大,用人工跟踪的方式几乎是不可能的。”他介绍说该中心使用了一系列自动化软件工具对整个系统进行跟踪和监控。

其中包括了一款名为LogSurfer的开放源代码工具、Nagios网络接口软件和Finisar的NetWisdom产品。

Loftus解释说,“LogSurfer监控日志,并且向Nagios发送报告,而Finisar监控SAN本身的通信,我们用这种方式进行健康程度分析和性能测试。”

在这个阶段,NCSA SAN还处于建设初期,它必须要支持五个彼此独立的超级计算机,其中包括了最近发布的90Tflop Abe系统。

Snapfish(喀嚓鱼)

存储概况:数据照片存储服务商筹划建立22PB的巨型SAN。

核心供应商:HP、Brocade、DataDirect Networks、PolyServe、QLogic、SGI

在线照片服务商Snapfish公司预计自己的SAN将在未来几年内急剧扩张,因为越来越多的人希望在互联网上与人分享自己的数码相片。

HP于2005年4月份收购了Snapfish公司,据传收购价格高达3亿美元。Snapfish公司大约在三年前开始构建自己的SAN架构,目前该公司计划对该架构进行大规模升级。

Snapfish公司的存储建筑师David Lee表示,“我们每个季度都在增加存储,只是或多或少的问题。”“我们一年增长了大约50%到60%。”

这家位于旧金山的公司目前拥有的存储容量大约是7.6PB,其中已经使用了5PB,该执行官认为Snapfish公司的SAN将在未来的一到两年内出现快速增长。

Snapfish公司的SAN到2008年秋天左右将轻而易举地达到10PB。Lee表示,“我们刚刚建成了一个新的数据中心,我们期望总的容量将达到22PB。”

该公司已经在旧金山拥有了两个数据中心,可是仍然不得不在德克萨斯州建设一个新的数据中心,以支持该公司数据的增长。

Snapfish公司在德克萨斯州的新数据中心面积有25,000平方英尺。“我们几乎用完了所有的空间和能源供应。”

Snapfish公司的SAN中,大约使用22台HP EVA设备,以及100多台该厂商的Modular Storage Arrays(MSA)产品。该照片服务公司使用了PolyServe进行集群,还在该公司的三个数据中使用了12台Brocade 48000导向器和42台Brocade 4Gb/s的交换机。Lee 表示,“我们在中央使用了导向器,在边缘使用了独立的交换机。”

Snapfish公司还在自己的三个数据中心中部署了大约300台Qlogic HBA,该公司还使用了一些来自DataDirect和SGI的“中型”阵列,作为EVA和MSA的补充。

考虑到Snapfish公司的SAN架构还处于“幼儿时期”,这种增长就更为惊人。Lee表示,“就在我们被HP收购之前,我们才开始考虑SAN。”他介绍说Snapfish原先是NetApp NAS用户。

“一旦你建成了SAN架构之后,扩展磁盘存储就变得非常容易了。如果我们试图在NetApp上进行扩展,成本就太高了。”

Snapfish公司目前还有8台R200 NetApp近线设备,Lee对Byte and Switch表示,他的下一个大项目将是IP over Fibre Channel。

他表示,“我们正在讨论始终这种技术,因为我们的光纤通道架构和我们的IP架构相比,可用的吞吐能力要大得多。”“我们进行大量的数据传输——我们需要在几个小时内传输数以TB计的数据,所以我们希望4Gb/s光纤通道能够为我们提供更大的吞吐能力。”

Internet Archive

存储概况:非赢利性组织仿效Google管理自己的存储网络

核心供应商:Capricorn Technologies

这家位于旧金山的组织需要存储的网页数据量简直是个天文数字,这是一项令人难以置信的任务,需要超乎寻常的存储架构。

Internet Archive的创始人Brewster Kahle表示,“我们也正在对几十万的图书资料进行电子化。”他还表示该机构正在考虑存储音乐和视频数据。

“其他一些的公司业务也达到了这样的规模——Google和hotmail应用都是如此,但据我所知,没有更多的公司涉足这一领域。”

和Google公司一样,Internet Archive也使用了数以千计的Linux机器。

Internet Archive成立于1996年,该组织本质上是一个巨大的数据仓库,目前在该组织的存储网络中存放的数据超过了2PB。该网络由大约2,000台来自Capricorn Technologies的Linux机器组成,它们通过以太网连接在一起,每台机器都提供了大约4TB的容量。

这些被称为“Petaboxes”的设备让Internet Archive能够在不耗尽资源的前提下,扩大运营规模。Kahle表示:“它成本低廉、维护简便、能耗低、密度高。”

存档的网页数据可以通过互联网访问,访问需要通过一个被称为“Wayback”的门户,这个门户是由Kahle和他的团队建设的。这个名字让人联想到上个世纪60年代的动画片《飞鼠洛基冒险记》中的片段。

谈到Archive未来的存储需求的时候,Kahle对Byte and Switch表示,他正在考虑Sun最近推出的Project Blackbox,这是一个移动数据中心,可以用集装箱将其运送到客户指定的地点。

他表示,“这是我所见过的最了不起的进步,对于业务规模和Internet Archive差不多的人来说,这也许会非常有趣。”“你可以把3PB的数据存放到移动的集装箱里。我们认为这种做法非常有竞争力。”

阅读(378) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~