发布时间:2015-01-15 14:11:00
Linux的内核是由www.kernel.org这个组织负责开发维护,下面我们要讨论的Netfilter/iptables是www.netfilter.org组织为Linux开发的防火墙软件。由于Linux是非常模块化的,很多功能都是以模块加载扩充系统功能,Netfilter同样采用这种方式存在于Linux中。如果你理解了Linux模块加载也就能够理解Netfilter的模块加载方式,本文详细聊聊iptables的各个主要功能及应用。......【阅读全文】
发布时间:2015-01-11 17:01:04
1.测试目标检验在局域网环境下的hadoop平台与广域网环境下通过VPN组建的hadoop平台在处理性能上的差异。实际上检测网络通信情况,通过hadoop的terasort示例工具来做排序的压力测试,通过对比排序所用时间来确定差异。2.测试环境hadoop-1.0.0三台vmware下的ubuntu12.04,一台为Master,两台为Slave。3.实验步骤A..........【阅读全文】
发布时间:2015-01-09 12:58:28
1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1TB排序基准评估第一名,排序1TB数据耗时209秒。后来,1TB排序被1分钟排序所取代,1分钟排序指的.........【阅读全文】
发布时间:2015-01-09 12:34:04
引言 Hadoop生态圈的基石有两个,一个是HDFS文件系统,一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案,则突出了MR的能力,实际上HDFS作为这一切的基础,所起的作用是不容忽视的。 HDFS分布式文件系统与一般的文件系统,从本质构成上来说并没有太大的区别,普通磁盘上.........【阅读全文】