Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2144749
  • 博文数量: 103
  • 博客积分: 206
  • 博客等级: 入伍新兵
  • 技术积分: 1819
  • 用 户 组: 普通用户
  • 注册时间: 2012-09-12 10:24
个人简介

效字当先,以质为本。

文章分类
文章存档

2019年(2)

2018年(4)

2017年(7)

2016年(3)

2015年(14)

2014年(33)

2013年(31)

2012年(9)

分类: HADOOP

2013-09-02 13:59:23

linux平台下有个ls指令,大家都很熟悉:

① ls | grep 2008   查询文件名包含2008的文件(这其实就是一个map,找到需要的数据)

② ls | grep 2008 | wc -l 计算上述指令查询文件个数(这其实就是一个reduce,对找到数据进行汇总聚合)

 

再来一个例子,关于SQL:select * from device

 

① select * from device t where t.name like 'CNC-Bj%'  (这其实就是一个map,找到需要的数据)

② select count(*) from device t where t.name like 'CNC-Bj%' (这其实就是一个reduce,对找到数据进行汇总聚合)

 

第二个SQL的例子在hive中就是通过mapreduce实现的,①为一个map任务 ②为一个reduce任务

阅读(2116) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~