分类: 服务器与存储
2008-08-05 10:05:20
走在大型数据中心架构开发
领域前沿的大概是谷歌公司及其云计算理念。Sun公司恐怕是惟一一家阐明了云计算理念、同时提供实际产品的厂商,其首席技术官Greg Papadopoulos把云计算比做了“红移”(Red Shift)。
天文学家常使用多普勒效应或者红移来帮助定义宇宙扩张概念。红移是指恒星光谱线的波长向红端即长波端所作的系统位移。使用IT系统的一些公司正在迅速扩大对IT资源的需求,Papadopoulos认为其速度之快可以与红移相提并论。
比方说,谷歌和亚马逊就是有着红移现象的IT公司,它们需要以前所未有的速度向外扩展IT性能、存储容量和网络功能; Papadopoulos称之为万亿级(terascale)计算。据估计,谷歌目前拥有的服务器数量超过50万台; 与亚马逊和微软一样,谷歌正在全球各地兴建大型数据中心,提供自己所需的服务器、存储和网络等功能,同时满足客户不间断的访问需求。
但是谷歌并不使用存储区域网络(SAN),也没有全球性的网络附加存储(NAS)基础设施,而是使用成千上万台配备了直接连接存储(DAS)廉价磁盘的Linux服务器,并且用自己的谷歌文件系统(GFS)来组织管理内容。实际上,大部分存储智能从阵列控制器转移到了该文件系统。
有着红移现象的IT公司中源源不断的海量数据使得目前的存储架构不堪重负。谷歌、亚马逊、雅虎和微软需要把容量和存储访问性能提升到闻所未闻的水平,以满足用户需求。传统的SAN和NAS存储架构满足不了多PB数据和应用的需求,这些应用需要捕获源源不断的数据、组织管理数据,提供低于5秒的读取时间以及确保存储安全。
目前企业级SAN存储设备的每GB成本约为20美元; 而这种云计算存储每GB的成本可能只有1美元。如果购买EMC Symmetrix或者Clariion阵列、IBM DS8000和DS4000产品或者NetApp阵列,是不可能得到这种低成本的。于是只好购买大众化磁盘,并且使用大众化服务器上的大众化软件或者开源软件来组织管理这些磁盘。
SAN和NAS的对立面
云计算存储是传统的SAN和NAS存储的对立面。对SAN和NAS存储厂商来说的一个坏消息是,所需的基础设施极其庞大,以至于他们的客户开始重大迁移,改用存储即服务(SAAS),而这种SAAS基于由谷歌、亚马逊及其他厂商提供的大规模云计算。
举例来说,谷歌正在提供类似办公套件的托管应用; 亚马逊提供SimpleDB、S3存储服务和弹性计算云(EC2)。
现实还是幻想?
谷歌、亚马逊、雅虎、微软及其他厂商提供面向互联网的服务,而对提供这些服务的大型互联数据中心进行这种分类其实是相当原始而简单的描述。为了确保各自的竞争优势,这些特大型数据中心架构的细节一般都秘而不宣。云计算作为通过互联网分发的服务提供给最终用户(如YouTube、MySpace和Facebook),或者提供给公司(如谷歌EC2和亚马逊SimpleDB)。
云计算不是由特定的数据中心架构来定义的。不过,可以把云计算看成是网格和公用计算理念发展过程中的必然阶段。多PB级的大型云存储环境将会突出每GB存储成本的优势,会在成本方面优于传统的基于控制器的阵列模块。
现在有一种普遍的看法,就是集群NAS系统将成为一种通用的云存储架构; 谷歌式样的集群服务器和DAS基础设施是谷歌所特有的,旨在满足其专门面向搜索的需求。而集群NAS系统更具有普遍适用性,它需要为文件和基础设施提供非常大的全局命名空间,以便组织管理成千上万个文件、文件保护和访问。
云存储似乎与当前的SAN和NAS存储大不相同,原因在于这种阵列架构不使用控制器,而且需要不同的文件系统—这种文件系统拥有可扩展容量,可以在它负责监控的存储介质中主动管理数据保护。它没有控制器,意味着不需要RAID硬件。
目前市场上出现了两款这样的文件系统: 谷歌的GFS和Sun的ZFS。
需要PB级存储容量的公司可以使用云计算存储模式吗?Isilon公司认为,有些公司已经在使用这种模式。举例说,Isilon在传媒领域的客户正使用集群NAS系统,把数十亿字节的视频文件流传输给需要播放电影的用户或者其客户。
需要特别庞大、基于文件的在线数据存储空间的其他领域包括: 制药业以及可能使用超级计算机的某些地球科学应用。
云计算的优点在于,它能够像超级计算机那样对应用进行并行处理,而成本低得多。
另一方面,基于云技术的计算和存储服务很可能会吸引中小企业(SMB),因为它们没必要采购、管理及操作自己的IT基础设施来完成同样的那些工作。这可以为它们节省大量时间,能够专注于核心业务活动,并且节省费用。
谷歌和亚马逊表示,数千个中小企业客户在使用它们的面向公司的云计算服务。随着这些企业不断成长、需要更多的IT服务,云计算厂商势必会提供更多的服务,使传统的IT厂商无力“染指”这块肥肉。然后,大中型企业可能会被基于云技术的服务所吸引。
从这个角度来看,云计算将来有望成为一项举足轻重的颠覆性技术。(乐天编译)
链接
云计算厂商粉墨登场
目前IT硬件厂商还没有提供云存储产品,不过像Sun等一些厂商已经在尝试基于云计算的理念。不过,有几家厂商把自己定位于这一角色: 为公司企业提供云计算软硬件产品,或者向公司和最终用户销售云计算及存储服务。
亚马逊: 亚马逊的创办人Jef Bezos似乎希望把亚马逊转变成21世纪的IT公用事业公司。其面向零售的IT基础设施至少在2004年就使用Linux服务器以及配备了惠普模块化智能阵列(MAS)的Oracle真正应用集群(RAC)。亚马逊是一家云服务厂商,希望提供在自己的万亿级计算架构上托管的商用基础设施组件。
EMC: EMC目前还没有集群NAS产品,Centera则是针对非结构化信息的在线归档产品,价格高昂。但是它已经宣布推出Hulk和Main集群NAS软硬件。
惠普: 惠普收购了PolyServe的技术。不过,并没有公布这方面的太多细节; 惠普没有公开表示云计算理念。
谷歌: 谷歌是堪称典范的云计算服务提供商,它借助自己的万亿级数据中心基础设施积极扩张。谷歌恐怕拥有全世界规模最庞大的IT基础设施。
IBM: IBM和谷歌正在合作,为多所大学兴建小型云计算设施,以便计算机专业的学生能够熟悉相关的编程理念。
Isilon: Isilon拥有越来越庞大的集群NAS产品线,最近还推出了全球规模最大的NAS集群,该集群配备了大约100个节点,理论上支持2.3PB的存储容量。
NetApp: NetApp针对NAS和SAN产品的操作系统ONtap GX具有集群技术。不过,由于NetApp把精力集中在带来丰厚利润的主流企业客户上,因而它在先进的集群NAS技术领域落后于Isilon及其他厂商。
Sun: 从诸多方面来看,Sun似乎是拥有云计算最多组件的软硬件厂商。它拥有ZFS文件系统,而且推出了X4500存储服务器和Solaris 10软件系列等产品,积极走上了大众化服务器/大众化磁盘/开源软件这条路线。
希捷: 希捷通过收购EVault公司进入了存储服务领域; 而且在此基础上,为其自己的数据中心提供在线备份服务。