分类： Java
2010-06-11 22:59:47
前不久在公司几台服务器上搭建了hadoop。
期间遇到了一些问题，解决了一些问题，对hadoop的工作方式还算了解吧。顺便分享一下。
hadoop 是apache的一个重量级的“炸弹”，引爆了云存储和云计算。
其实hadoop本省是多项技术的总体，包含实现了map-reduce,和GFS，GFS的实现叫做HDFS。
这两个是根本，还有些其他的建立这之上的，比如HBASE
与之前国外的探索地外生命的网格计算类似，非可信人的网络环境，CPU消耗型，数据传输极少。
但hadoop与其侧重点不同。hadoop需要在可信任的网络环境下，且负担在IO文件处理。
hadoop的处理是为了提高后台以往需要消耗大量时间来做计算的任务速度。
与平时的提高应用程序系统对外相应基本扯不上关系。
比较常见的应用场景，数据挖掘，文本分析，大规模索引简历，大文件排序等涉及的数据量和计算比较多的地方。
未完待续
