2008年(8065)
分类: 服务器与存储
2008-07-23 15:50:11
在缺乏更好的专业术语之前,我们暂且称它为Web 2.0数据。这种数据从本质和用途上来看,与传统的、基于事务的数据都有所不同。它通常来自于由同一用户创建的大型文件,这种大型文件可能要跨越一定的地理位置实现文件共享。大多数的Web 2.0数据是那些你所熟知的,如图像、视频、电子邮件归档等等,此外,Web 2.0数据还包括大量视频监控录像(surveillance camera footage)、地理空间数据挖掘(geospatial mining )、基因组序列(genomic sequence)及金融分析统计数据等等。
基于文件的Web 2.0数据与公司的事务数据一样重要,需要具备相当程度的可用性、安全性,以避免数据丢失。与传统的企业数据一样,Web 2.0数据正在不断的膨胀,这种数据只会越来越多。
为了应对Web 2.0数据的这种增长,公司开始采用由Web巨头如和Yahoo开发的存储技术。通过借鉴高性能的,这种存储策略采用了大型机架式计算集群和由低端业内标准服务器及驱动器组成的存储节点。这些数据在多个节点之间分布和复制,并且通常在地理位置上是彼此独立的。其存储组件是内容可寻址存储(CAS)或者是,使用或是驱动器。
为了降低成本、电源消耗及散热成本,存储节点通常只配置应用程序所需的最基本的功能,以达到优化的目的。与刀片式服务器相比,集群节点成本更低,密度更高,而且不需要额外的能源供应和风扇装置。冗余性位于节点层,集群软件对节点故障的处理是透明的,这种处理方法具备良好的弹性和灵活性。这种集群或多或少具备自我管理和快速扩展的能力。
这些集群可以是针对高性能计算任务的计算密集型集群,或者以存储为主导的集群(这取决于你的软硬件配置情况),以提供了一个具有单一命名空间的大型云。
Google和雅虎等公司仍然致力于开发他们自己的定制架构。Google直接从英特尔公司大量订购定制的主板,以满足其低成本和低能耗的需求。然而,你不需要定制自己的Web 2.0存储架构,因为越来越多的主流存储厂商开始向用户提供与之相关的产品和服务。
根据订单设计
戴尔是率先提供Web 2.0架构的厂商之一。戴尔的数据中心解决方案部门在2007年3月宣布推出云计算解决方案(Cloud Computing Solutions)。在该方案中,戴尔针对集群服务或者存储产品,设计、提供甚至安装机架服务器和存储设备,从而达到优化应用(以及减低能耗)的目的。另外还有维护和租用等选项。
根据戴尔In The Clouds论坛上的讨论来看,这种服务是面向大型订单的(1500个节点以上),而且你必须提供自己的集群软件。戴尔不提供像大众市场那样的现成系统,而是专门针对某些集群应用开发的系统。
和Rackable也涉足到Web 2.0领中来。除了提供面向集群的计算和存储节点机架之外,这两家厂商还提供了集成到存储集装箱式设备中的移动数据中心。例如,Sun公司的Modular Datacenter S20是一款只配置了一个电力供应、网络连接和水冷系统连接的集装箱式数据中心,尺寸为20英尺长。
有了水冷系统,这些设备的密度就可以更高,比采用空气制冷、具有相同节点的数据中心能效更高。最吸引人的一点就是你可以在很短时间内增加大量存储空间或者计算能力。当然,你必须自己提供集群软件,以便将这些整合到一起。不过Sun去年收购了Lustre集群,现在已经将其整合到Open Storage项目中。
密度翻番
空间和能耗一直是数据中心所面临的最大难题,尤其是对Web数据中心来说。在今年4月推出的一款名为iDataPlex Web 2.0服务器系统可以直接解决这个问题。通过以90度垂直方向摆放一台标准的42U机架,并且平行安装两个半高的节点(从前到后15英寸),这样从前只能容纳个CPU节点的空间现在可以安装下84个节点,并且在一侧留出大约16U的空间放置交换硬件。对存储应用来讲,有3U的设备就可以提供1个CPU以及12TB的硬盘驱动器存储,28个节点每个机架最高容量可达336TB。
甚至一些很微小的因素也对降低能耗起到了关键的作用。风扇设备将空气送达节点以达到冷却节点的目的,这种推进的距离是通常距离的一半,因为冷却距离和风扇功率之间的关系是非线性的,所以所需能源要多于原来的一半。通过使用更多更大型的风扇装置可以带来更高的效率。可插式的四风扇装置可以对八个节点进行冷却。IBM模块化系统开发部门副总裁兼工程师Gregg McKnight表示,每台服务器的风扇装置消耗的功率大约为6瓦。相比那些采用大功率空调设备的数据中心,IBM的iDataPlex提供了选配的水冷热量交换器,有显著的冷却效果。
据McKnight称:“那些购买了大量节点的企业用户希望这正是他们所需要的。”
虽然不像戴尔集群系统那样是可定制化的,但是IBM提供了22个不同的节点类型(处理器、插槽、内存和存储)以及几种能源提供方式,这使得能源和应用需求能够更好地结合起来。IBM可以提供或者是Windows系统来运行基于英特尔处理器的节点,也可以提供带有Nextra软件(去年收购XIV时获得)的集群功能。
因此,IBM可以提供一个“针对空间进行优化的计算集群”。McKight表示:“整个方案是提前配置、布线和经过测试的,让用户在几分钟之内就可以启动使用。”
精确地存储
惠普最近推出了一款完全面向存储用户的集群系统——HP StorageWorks 9100 Extreme Data Storage System (ExDS9100)。ExDS9100结合了惠普运行Linux系统的C-刀片、几个82驱动器存储模块、PolyServe集群文件系统以及将ExDS9100看作一个大型刀片的管理软件,惠普公司NAS产品营销总监Ian Duncan这样表示。
Duncan表示:“这是一款可扩展的NAS,每容量成本低于2美元。惠普所接触的企业用户中,有90%的企业增长都是来自于基于文件的存储。”
ExDS9100具有密度大(12TB/U)和极易扩展的特点。它的计算单元采用刀片,但是存储支持不需要太多的刀片,因为驱动器并不与刀片直接连接的。计算单元采用1至4个四刀片的性能块,以及高达10个82GB的RAID 6存储块(容量从246TB到820TB不等)。
你可以针对交互式视频等CPU密集型存储应用对存储容量进行扩展。Duncan表示:“这种设备在几秒钟内就可以检测以及初始化一个新的插入式性能模块。” ExDS9100可以通过NFS和HTTP协议提供访问其他系统的路径,而且多个存储系统可以通过PolyServe连接起来。
Duncan认为,有三种用户需要Web 2.0存储架构。第一种是纯粹以Web 2.0作为业务模式的企业用户,他们通过Web提供服务或者信息内容。第二种是那些需要解决自己内部数据信息爆炸的传统企业用户。例如,那些从事生命科学研究的机构,其每周基因排序所产生的数据就可以达到数百TB。第三种是那些想要从事业务的传统企业。例如惠普自身的Snapfish在线图像存储服务,就是作为ExDS9100的试验田为其提供服务的。
更多
EMC已经在Web 2.0存储领域有所举动,虽然具体细节还未公布,但是EMC在存储业内的影响力已经引起了人们的注意。今年1月EMC推出了基于Mozy备份服务的Fortress SaaS存储平台架构,此外EMC自去年起就开始谈论他们代号为“Hulk”和“Maui”的两款产品。Hulk可能是一款集群NAS硬件系统,Maui据称是一款具有全面可扩展性的集群文件系统软件。但是在EMC公布进一步策略之前用户还要继续等待一段时间。