发布时间:2015-01-09 12:58:28
1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1TB排序基准评估第一名,排序1TB数据耗时209秒。后来,1TB排序被1分钟排序所取代,1分钟排序指的.........【阅读全文】
发布时间:2015-01-09 12:34:04
引言 Hadoop生态圈的基石有两个,一个是HDFS文件系统,一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案,则突出了MR的能力,实际上HDFS作为这一切的基础,所起的作用是不容忽视的。 HDFS分布式文件系统与一般的文件系统,从本质构成上来说并没有太大的区别,普通磁盘上.........【阅读全文】
发布时间:2014-08-15 18:49:08
http://www.open-open.com/34.htm网上收集的一些常用Java开发的第三方软件包,供大家参考 1.Apache POI 处理office文档用到的2. IText PDF操作类库 3.Java Base64 Base64编码类库 4.Commons-lang 对应java sdk里面的java.lang包,用来简化基本工具类操作 .........【阅读全文】