Google后Hadoop时代的新“三驾马车”

另一篇介绍了Pregel，Pregel主要绘制大量网上信息之间关系的“图形数据库”。而最吸引人的一篇论文要属被称之为Dremel的工具。

专注于大型数据中心规模软件平台的加利福尼亚伯克利分校计算机科学教授Armando Fox表示“如果你事先告诉我Dremel可以做什么，那么我不会相信你可以把它开发出来”。

　　Dremel是一种分析信息的方式，Dremel可跨越数千台服务器运行，允许“查询”大量的数据，如Web文档集合或数字图书馆，甚至是数以百万计的垃圾信息的数据描述。这类似于使用结构化查询语言分析传统关系数据库，这种方式在过去几十年被广泛使用在世界各地。

　　Google基础设施负责人Urs H?lzle表示“使用Dremel就好比你拥有类似SQL的语言，并可以无需任何编程的情况下只需将请求输入命令行中就可以很容易的制定即席查询和重复查询”。

　　区别在于Dremel可以在极快的速度处理网络规模的海量数据。据Google提交的文件显示你可以在几秒的时间处理PB级的数据查询。

　　目前Hadoop已经提供了在庞大数据集上运行类似SQL的查询工具(如Hadoop生态圈中的项目Pig和Hive)。但其会有一些延迟，例如当部署任务时，可能需要几分钟的时间或者几小时的时间来执行任务，虽然可以得到查询结果，但相比于Pig和Hive，Dremel几乎是瞬时的。

　　Holzle表示Dremel可移执行多种查询，而同样的任务如果使用MapReduce来执行通差需要一个工作序列，但执行时间确实前者的一小部分。Dremel可在大约3秒钟时间里处理1PB的数据查询请求。

　　Armando Fox表示Dremel是史无前例的，Hadoop作为大数据运动的核心一直致力构建分析海量数据工具的生态圈。但就目前的大数据工具往往存在一个缺陷，与传统的数据分析或商业智能工具相比，Hadoop在数据分析的速度和精度上还无法相比。但目前Dremel做到了鱼和熊掌兼得。

　　Dremel做到了“不可能完成的任务”，Dremel设法将海量的数据分析于对数据的深入挖掘进行有机的结合。Dremel所处理的数据规模的速度实在令人印象深刻，你可以舒适的探索数据。在Dremel出现之前还没有类似的系统可以做的像Dremel这样出色。

　　据Google提交的文件来看，Google从2006年就在内部使用这个平台，有“数千名”的Google员工使用Dremel来分析一切，从Google各种服务的软件崩溃报告到Google数据中心内的磁盘行为。这种工具有时会在数十台服务器上使用，有时则会在数以千计的服务器上使用。

　　Mike Olson表示尽管Hadoop取得的成功不容置疑，但构建Hadoop生态圈的公司和企业显然慢了，而同样的情况也出现在Dremel上，Google在2010年公布了Dremel的相关文档，但这个平台还没有被第三方企业充分利用起来，目前以色列的工程团队正在建设被称为OpenDremel的克隆平台。David Gruzman表示OpenDremel目前仅仅还在开始阶段，还需要很长时间进行完善。

　　换句话说即使你不是Google的工程师你同样可以使用Dremel。Google现在提供的BigQuery的服务就是基于Dremel。用户可通过在线API来使用这个平台。用户可以把数据上传到Google，并在Google基础设施中运行用户的查询服务。而这只是Google越来越多云服务的一部分。

　　早期用户通过Google App Engine构建、运行、并将应用托管在Google基础设施平台之上。而现今Google提供了包括BigQuery和Google Compute Engine等服务和基础设施，这些服务和基础设施可使用户瞬时接入虚拟服务器。

　　全球很多技术都落后于Google，而Google自身的技术也正在影响全球。