mapreduce理解--（转载自heipark的日志）

linux平台下有个ls指令，大家都很熟悉：

① ls | grep 2008   查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）

② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合）

 

再来一个例子，关于SQL：select * from device

 

① select * from device t where t.name like 'CNC-Bj%'  （这其实就是一个map，找到需要的数据）

② select count(*) from device t where t.name like 'CNC-Bj%' （这其实就是一个reduce，对找到数据进行汇总聚合）

 

第二个SQL的例子在hive中就是通过mapreduce实现的，①为一个map任务 ②为一个reduce任务