发布时间：2015-01-11 17:01:04
1.测试目标检验在局域网环境下的hadoop平台与广域网环境下通过VPN组建的hadoop平台在处理性能上的差异。实际上检测网络通信情况，通过hadoop的terasort示例工具来做排序的压力测试，通过对比排序所用时间来确定差异。2.测试环境hadoop-1.0.0三台vmware下的ubuntu12.04，一台为Master，两台为Slave。3.实验步骤A..........【阅读全文】
发布时间：2015-01-09 12:58:28
1TB（或1分钟）排序的冠军 作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。 1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的.........【阅读全文】
发布时间：2015-01-09 12:34:04
引言 Hadoop生态圈的基石有两个，一个是HDFS文件系统，一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案，则突出了MR的能力，实际上HDFS作为这一切的基础，所起的作用是不容忽视的。 HDFS分布式文件系统与一般的文件系统，从本质构成上来说并没有太大的区别，普通磁盘上.........【阅读全文】
