MapReducer二次排序--实现_zpf1218-ChinaUnix博客

月月鸟飞

首页　| 　博文目录　| 　关于我

zpf1218

博客访问： 1108973
博文数量： 143
博客积分： 969
博客等级：准尉
技术积分： 1765
用户组：普通用户
注册时间： 2011-07-30 12:09

文章分类

全部博文（143）

krenel（4）
大数据（2）
spark（8）
java（2）
FastDFS（6）
mysql（5）
系统性能（7）
mongodb（0）
算法数据结构（1）
Redis（2）
分布式云计算（46）

storm（3）

MapReducer（18）

hadoop（1）
Linux（25）
chrome（2）
网络（7）
C++（10）
web（2）
软件设计（6）
程序设计（0）
操作系统（2）
数据库（2）
未分配的博文（4）

文章存档

2023年（4）

2021年（2）

2020年（4）

2019年（4）

2018年（33）

2017年（6）

2016年（13）

2014年（7）

2013年（23）

2012年（33）

2011年（14）

我的朋友

最近访客

推荐博文

MapReducer二次排序--实现

发布时间：2018-06-15 18:41:49

总结： 1、当reducenum 设置为1时，自定义的分区函数不会被调用，这可以理解 2、在实现compare 函数时要要注意，两个对象firstKey值不相等是要直接返回，只有两个相等时，才比较secondKey，自己在实现是没有注意到这个问题随便写了，调试半天没有发现问题。错误写法如下： &nbs.........【阅读全文】

阅读(786) | 评论(0) | 转发(0)

MapReducer 二次排序--原理

发布时间：2018-06-14 20:26:56

假设有如下原始数据DATA1，我们需要通过Map Reducer得到DATA3. DATA1 DATA2 DATA3 A 5 A 5 .........【阅读全文】

阅读(4128) | 评论(0) | 转发(0)

storm学习笔记

发布时间：2018-06-11 21:25:37

......【阅读全文】

阅读(623) | 评论(0) | 转发(0)

MapReduer reduce Join

发布时间：2018-06-11 21:03:28

注意点：点击(此处)折叠或打开import org.apache.commons.lang.StringUtils;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.fs.*;import org.apache..........【阅读全文】

阅读(773) | 评论(0) | 转发(0)

Join

发布时间：2018-06-11 20:59:07

Join 就是对两个文件中相关联字段进行关联，如：File1中含有字段公司ID，公司名称File2 中含有字段公司ID，公司生产量现在需要统计如下数据：公司名称，公司ID，公司生产量就需要将File1，File2根据公司ID进行join，得到以上数据 Mapreduce join有以下几种方式1、 .........【阅读全文】

阅读(728) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

留言热议

请登录后留言。

登录注册

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6