Chinaunix首页 | 论坛 | 博客
  • 博客访问: 497492
  • 博文数量: 132
  • 博客积分: 969
  • 博客等级: 准尉
  • 技术积分: 1630
  • 用 户 组: 普通用户
  • 注册时间: 2011-07-30 12:09
文章分类

全部博文(132)

文章存档

2019年(2)

2018年(33)

2017年(6)

2016年(13)

2014年(7)

2013年(24)

2012年(33)

2011年(14)

我的朋友

发布时间:2018-06-14 20:26:56

假设有如下原始数据DATA1,我们需要通过Map Reducer得到DATA3. DATA1 DATA2 DATA3 A   5  A   5  .........【阅读全文】

阅读(210) | 评论(0) | 转发(0)

发布时间:2018-06-11 21:25:37

......【阅读全文】

阅读(11) | 评论(0) | 转发(0)

发布时间:2018-06-11 21:03:28

注意点:  点击(此处)折叠或打开import org.apache.commons.lang.StringUtils;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.fs.*;import org.apache..........【阅读全文】

阅读(31) | 评论(0) | 转发(0)

发布时间:2018-06-11 20:59:07

Join 就是对两个文件中相关联字段进行关联,如:File1中含有字段 公司ID,公司名称File2 中含有字段 公司ID,公司生产量 现在需要统计如下数据:公司名称,公司ID,公司生产量就需要将File1,File2根据公司ID进行join,得到以上数据 Mapreduce join有以下几种方式1、 .........【阅读全文】

阅读(20) | 评论(0) | 转发(0)

发布时间:2017-10-12 16:10:26

for i in $(ls *.tar.gz);do   echo  $i;  fn=$i;  tt=`echo ${fn/.tar.gz/}`;  tar -xzvf $i -O >  $tt  ;done......【阅读全文】

阅读(144) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册