Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6319342
  • 博文数量: 2759
  • 博客积分: 1021
  • 博客等级: 中士
  • 技术积分: 4091
  • 用 户 组: 普通用户
  • 注册时间: 2012-03-11 14:14
文章分类

全部博文(2759)

文章存档

2019年(1)

2017年(84)

2016年(196)

2015年(204)

2014年(636)

2013年(1176)

2012年(463)

发布时间:2013-04-14 11:48:40

4、代码开发和调试示例前面部署HADOOP时曾经测试过wordcount程序,这样我们在Eclipse也调试这一功能。HADOOP提供了这些示例的源代码,大家可以在HADOOP安装文件根路径下的examples目录下,比如WordCount位于:examples/org/apache/hadoop/examples/WordCount.java我们新建一个java文件,右键选中项目名称,点击Ne.........【阅读全文】

阅读(631) | 评论(0) | 转发(0)

发布时间:2013-01-28 12:10:07

map-reducerhttp://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.htmlhadoop详细安装http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html......【阅读全文】

阅读(896) | 评论(0) | 转发(0)

发布时间:2013-01-28 12:08:15

mesos上部署hadoop......【阅读全文】

阅读(1335) | 评论(0) | 转发(0)

发布时间:2013-01-15 02:21:37

hadoop的使用中,一般只关注运行结果。对于mapper和reducer之间的处理逻辑往往不care。比如key-value对到达reducer的先后顺序等目前接触到的运用场景有:1.根据用户操作时间来整理事件链,在网站分析里比较常用。需要按时间先后顺序来处理,如果过亿的访问操作全在reducer里来排序,对计算能力和内存都是一个挑战。2.海量数据处理中,求去重distinct这种操作,往往需要先缓存很大的数据集,对单个reducer的内存要求很高,特别是上亿的数据时,很容易就撑爆内存。这里如果在reducer进入前就排好序,后续处理就简单的多。二次排序相当于把一个reducer的负载推给了......【阅读全文】

阅读(420) | 评论(0) | 转发(0)

发布时间:2012-06-29 22:49:13

<h2 style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; padding-top: 0px; padding-right: 0px; padding-bottom: 0px; paddi......【阅读全文】

阅读(8683) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册