MySpace解决特殊存储需求

隶属于News公司的社团网站MySpace拥有1.3亿用户，还正在以每天新增25万用户的速度增长。该站点目前拥有1.27亿个页面，这些海量数据需被存储和即时获取……　　隶属于News公司的社团网站MySpace拥有1.3亿用户，还正在以每天新增25万用户的速度增长。该站点目前拥有1.27亿个页面，这些海量数据需要被存储和即时获取。
　　由于MySpace不断增加新的服务器，想要准确地获知这个公司最近期的数据需要多少存储量是非常困难的。它要以TB来计，并且跨越多个不同的存储体系。近期在对公司位于洛杉矶的一个大型数据中心的访问中，技术副总裁Jim Benedetto指着一堆大小如同卡车一样的已被铺平的纸箱子说：“这只是我们这星期拆装的设备…我们甚至还不能将它们全部连上电源，洛杉矶没有足够的电力。”在过去的一年中，MySpace所购买的服务器拆卸下其外包装时，所以这些外包装的总重达到了8吨。
　　公司应用一种自行研制的分布式文件系统，运行跨越1000台惠普的服务器来存储它的大量小型文件，包括MP3和视频剪辑——总量可达30亿个映像。8个专职的资深开发人员和工程师24小时负责这个庞大的系统的运行和维护。
　　对于公司的专有文件系统，Benedetto说：“最终我们认识到，没有人比我们更清楚自己的问题，因此也就更容易建立一个自己的系统。”他指出，MySpace在它的数据中心中尝试使用不同存储供应商的产品。最近可能要淘汰是的NetApp公司的设备，目前只有四台该公司的设备用于站点的文件服务。Benedetto说：“我们还没有决定这些设备将来的去留。”
　　MySpace目前最头痛的问题是访问方式。“我们的生死存亡决定于在高峰时段我们能够多快提供内容。那时大约有300万用户上网，要同时转换他们的数据，”他说，“说真的，在任意时间，我们的所有资料都可以被访问。”并且，他说现在的存储系统不只是能处理这些。MySpace在它的应用程序的后端装有一个巨大的层级高速缓存(caching tier)，使输入输出(I/O)更容易。“我们的工作量强度集中在写入处理上，这需要大量使用磁盘I/O。在一些情况下，MySpace有150GB的空间，其中在73GB的空间上仅仅运行5GB～10GB的数据，这是因为如果不这样，磁盘将超出I/O的范围。业界称之为“硬盘颠簸(disk thrashing)”。