发布时间:2018-06-15 18:41:49
总结: 1、当reducenum 设置为1时,自定义的分区函数不会被调用,这可以理解 2、在实现compare 函数时要要注意,两个对象firstKey值不相等是要直接返回,只有两个相等时,才比较secondKey,自己在实现是没有注意到这个问题随便写了,调试半天没有发现问题。 错误写法如下: &nbs.........【阅读全文】
发布时间:2018-06-14 20:26:56
假设有如下原始数据DATA1,我们需要通过Map Reducer得到DATA3. DATA1 DATA2 DATA3 A 5 A 5 .........【阅读全文】
发布时间:2018-06-11 21:03:28
注意点: 点击(此处)折叠或打开import org.apache.commons.lang.StringUtils;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.fs.*;import org.apache..........【阅读全文】