8种方案取代HDFS

作为支持云计算开源实现的开源软件，Hadoop一路走来，已经成为下一代主流的分布式系统基础架构。这其中，分布式文件系统（HDFS）发挥了重要作用。但Hadoop并不完美。最为讽刺的是，Hadoop最大的缺点之一就是其最大的优势所在——分布式文件系统（HDFS）。

在Apache软件基金会，HDFS是为了提高性能和可用性。当然，这样做对Hadoop好处很多，比如在试点工程、攻关项目或一般的非苛刻环境中。而另外一些技术，比如结构化数据存储服务（HBase）甚至可以在non-MapReduce的应用中使用。

但是越来越多想要取代HDFS的选项证明了HDFS并不是适合所有的领域。一些Hadoop用户对于性能、可用性和企业级功能有严格的要求，而对直连存储（DAS）架构并不热衷。而关注可用性的用户一定特别关注方方面面，比如绝不会使用没有内建高可用性名称节点（High Availability NameNode）的旧版本。这里就有8项产品（或方案）声称可以取代HDFS：

Cassandra (DataStax)

 

DataStax不是文件系统，而是一个开源的代码，NoSQL键/值存储。依靠快速的数据访问，Cassandra已经成为HDFS在网络应用方面可行的替代产品。Datastax是Cassandra商业数据库，已经推向市场，其为网络应用程序提供了基于Hadoop的快速数据访问和处理，并且将从用户端流进Cassandra的数据迅速返给Hadoop。据悉去年获得了1100万美元的B轮融资。

CEPH

一个开源代码，是一家名为Inktank做多种存储系统的商业软件。其特点是高性能并行文件系统，有些人认为其可以成为Hadoop在一些特殊环境中的HDFS的替代品。事实上，一些研究者早在2010年就开始关注这一可能性。

Dispersed Storage Network (Cleversafe)

近期，Cleversafe宣布推出取代HDFS的新业务，这一新产品将Hadoop MapReduce与企业分散存储网络(Dispersed Storage Network)系统相融合。跨过集群完全分配元数据（而不依赖于一个单一的NameNode），也不依赖于复制，Cleversafe认为与HDFS相比，Dispersed Storage Network的速度更快，更可靠。

GPFS(IBM)

多年以来，IBM一直在出售其通用并行文件系统（General Parallel File System,GPFS）给高性能计算用户（包括世界上最快的超级计算机，链接2012全球高性能计算TOP10），2010年，IBM将GPFS转向Hadoop，让GPFS与Hadoop相整合，并针对Hadoop优化环境的（存储/设备）来运行相应的工作负载。IBM声称，GPFS -SNC（无共享集群）版的速度远超Hadoop的HDFS。因为其可以直接运行在内核层，而不像HDFS一样运行在操作系统层上。

早在SNW2011会上，IBM 就已经将GPFS定位为可以替代HDFS作为Hadoop架构的底层文件系统/数据存储。在上面的应用开发层，商业方案/接口（Commercial Project / Interface，相对于Hadoop开源方案而言）中第一个列出的就是IBM Bigsheets（大数据表）。

Isilon (EMC)

一年以前，EMC就提出了自己的Hadoop分布式系统。但在2012年1月，EMC又提出一个创新的方法，通过EMC Isilon的OneFS文件系统取代企业级HDFS。技术上，EMC的Chuck Hollis这样解释，Isilon可以读取NFS,CIFS和HDFS protocols协议，而一个单一的Isilon NAS系统可以提供提取、处理和分析数据的服务。

Lustre

Lustre是一个开发源代码的高性能文件系统，一些人声称在性能敏感区域其可以作为HDFS的一个替代方案。说实话，我还没有在任何实际应用中看到这一点，（此处为作者），但是一家HPC存储供应商 Xyratex曾经在2011年写过一篇文章，声称即使有无限带宽，Lustre-based集群也比HDFS-based更加快速和便宜。

MapR File System

MapR File System是HDFS最著名的取代者。因为在分布式市场，MapR越来越受到市场的欢迎，资金也越加雄厚。不仅MapR声称MapR File System平均要比HDFS快2-5倍（有时这一数字甚至可以到20倍），而且其诸如镜像、快照和高可用性，已经成为企业客户的最爱。

NetApp Open Solution for Hadoop

在NetApp和其早期合作伙伴cloudera看来，开放的解决方案NetApp Open Solution for Hadoop在更多意义上是帮助HDFS提升和改进，而非取代。毕竟NetApp Open Solution for Hadoop的发行仍然需要依靠HDFS。但其通过在RAID上应用HDFS，重建Hadoop的物理体系架构。NetApp称其意味着更快、更可靠和更加安全。

除此以外，还有2种并不高效的HDFS取代方案但都以被历史湮没：KosmosFS (又称 CloudStore) 和 Appistry CloudIQ Storage。前者是Kosmix的产品，其曾经通过收购进入开源但现在已经不在活跃，后者在Appistry2010时曾企图通过自己的计算存储技术切入Hadoop市场，但后来因为经营方向从销售技术专项提供高性能计算服务而放弃。