Chinaunix首页 | 论坛 | 博客
  • 博客访问: 279523
  • 博文数量: 82
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 874
  • 用 户 组: 普通用户
  • 注册时间: 2015-03-21 09:58
个人简介

traveling in cumputer science!!

文章分类

全部博文(82)

文章存档

2016年(13)

2015年(69)

我的朋友

分类: HADOOP

2016-04-15 21:26:50

接触hadoop有段时间了,一直觉得自己对系统框架里面细节了解不够彻底,以至于写程序心里总会有点别扭,强迫症所致...
那就先总结下目前的认识!
用流水线可表示任务执行流程如下:
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output
接着来段大白话,聊一聊:

一,input

(通过FileInputFormat设置),此步主要工作:验证输入形式,调用InputSplit决定map个数,并通过RecordReader用于输入记录;

二,map

(把输入的(k1,v1)分割成n个(k2,v2)),此步主要工作: setup初始化map工作例如打开文件,map例如把一行分割成(word,1)的(k,v)形式,用于后面reduce词频统计,cleanup收尾map工作例如关闭文件;

三,combine

此步主要工作:对map操作过后的(k2,v2),按键值进行归并,也就是把key值相同的的value归并成一个values_list,此步是在map端进行,但是仅仅做归并操作,并没有多余的操作,目的是不让数据太分散,减少数据传输的网络开销;

四,shuffle

(这个词,记了好几次...也怪我记性差~_~!!)此处用partitioner就好记喽,此步主要工作:对combine后的结果进行分区操作,使具有相关性的数据发送到相同reduce节点上,避免具有相关性数据分散在不同reduce节点上,导致reduce计算过程中还得去访问其他reduce节点,降低运算效率;

五,sort

此步主要操作:map处理过后的数据在进行reduce操作之前,进行排序操作,其过程为map过后,对分散存储的数据进行快速排序,然后通过归并排序把分散的数据存入一个大文件;

六,reduce

对(k2,v2)进行操作,其中v2指value_list,例如词频统计对(value_list数据进行累加),同map包括(setup, reduce, cleanup)

七,output

(通过FileOutputFormat设置),此步主要把任务数据存储起来,其中包括recordWriter对输出进行记录
这一过程中系统参数设置如下:

点击(此处)折叠或打开

  1. job.setJarByClass(Unique.class);//设置任务执行类
  2. job.setMapperClass(UniMapper.class);//设置map类
  3. job.setCombinerClass(UniReduce.class);//设置reduce类
  4. job.setReducerClass(UniReduce.class);//设置combine类
  5. job.setOutputKeyClass(Text.class);//设置程序输出k类型
  6. job.setOutputValueClass(Text.class);//设置任务输出v类型
  7. FileInputFormat.addInputPath(job, new Path(args[0]));//输入路径
  8. FileOutputFormat.setOutputPath(job, new Path(args[1]));//输出路径

参考链接:


阅读(3084) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~