Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4369424
  • 博文数量: 291
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 7924
  • 用 户 组: 普通用户
  • 注册时间: 2016-07-06 14:28
  • 认证徽章:
个人简介

阿里巴巴是个快乐的青年

文章分类

全部博文(291)

文章存档

2018年(21)

2017年(4)

2016年(5)

2015年(17)

2014年(68)

2013年(174)

2012年(2)

分类: HADOOP

2014-02-26 19:33:15

一、前言
        由于后知后觉,以至于此时才开始Hadoop之旅,但《Hadoop权威指南》之类的教程以不能与时俱进,在Hadoop 2.2.0横行的今日难觅可运行只配置,遂想仍以《Hadoop权威指南》为蓝本把玩怀旧版Hadoop-0.20.2。Hadoop-0.20.2已不能从官网的DownLoad中找到,需要从归档地址下载,点击这里即可如愿。

二、环境
        关于各种零碎的安装、配置、格式化、启动和停止等仍然可以参看这里,不再重。
        当然,在此也不放把新版本的这些琐事也贴一个链接在这里,以备参考。

三、测试
        这里自然是以WordCount为例,此例堪称Hadoop界的HelloWorld。
        WordCount.java在hadoop-0.20.2/src/examples/org/apache/hadoop/examples目录下。
 1、本地准备数据
        登录Hadoop机器,在本地目录下创建存放输入数据的文件夹以及文件,比如:
        #pwd
        /root
        #mkdir input
        #vi input/file01.txt
        Hello World Bye World
        #vi input/file02.txt
        Hello Hadoop Goodbye Hadoop
2、上传至HDFS
        在HDFS上创建存放输入数据的文件夹及文件,比如:
        #hadoop fs -mkdir /tmp/input
        #hadoop fs -ls
        Found 1 items
        drwxr-xr-x   - root           supergroup          0 2014-02-19 07:36 /tmp/input
        上传本地文件数据到HDFS的input目录下,比如:
        #hadoop fs -put ~/input/file*.txt /tmp/input
        #hadoop fs -ls /tmp/input
        Found 2 items
        -rwxr-xr-x   - root           supergroup          1 2014-02-19 07:36 /tmp/input/file01.txt
        -rwxr-xr-x   - root           supergroup          2 2014-02-19 07:36 /tmp/input/file02.txt
3、运行程序
        (1)拿来主义
        如果你不想重新编译并产生jar包,可以直接用/root/hadoop-0.20.2/hadoop-0.20.2-examples.jar,默认wordcount(注意是小写)已经打在里面了,如下来执行程序:
        #hadoop jar /root/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output01
        执行上面语句后,Hadoop命令会启动一个JVM来运行这个MapReduce程序,并自动获得Hadoop的配置,同时把类的路径(及其依赖关系)加入到Hadoop的库中。并在屏幕上输出Hadoop Job的运行记录,从中可以看到,这个Job被赋予了一个ID号:job_201402190740_0001,而且得知输入文件有两个(Total input paths to process : 2),同时还可以了解map的输入输出记录(record数及字节数),以及reduce输入输出记录。比如说,在本例中,map的task数量是2个,reduce的task数量是一个。map的输入record数是2个,输出record数是4个等信息。    
        (2)自己动手
        如果你不满足于“舶来品”,可以“自己动手,丰衣足食”,开始吧:
        (A)编译源码
        在本地路径下,新建目录wordcount用于存放编译结果:
        #pwd
        /root
        #mkdir wordcount
        拷贝WordCount.java至/root/wordcount文件夹下:
        #cp /root/hadoop-0.20.2/src/examples/org/apache/hadoop/examples/WordCount.java wordcount
        #javac -classpath /root/hadoop-0.20.2/hadoop-0.20.2-core.jar:/root/hadoop-0.20.2/lib/commons-cli-1.2.jar -d ./ WordCount.java
        关于如何在Linux下编译java程序,请参看这里
        #ll org/apache/hadoop/examples/
        total 12
        -rw-r--r--. 1 root root 1911 Feb 23 07:19 WordCount.class
        -rw-r--r--. 1 root root 1793 Feb 23 07:19 WordCount$IntSumReducer.class
        -rw-r--r--. 1 root root 1790 Feb 23 07:19 WordCount$TokenizerMapper.class
        (B)打包文件
        将生成的.class文件打成jar包:
        #jar -cvf WordCount.jar org/apache/hadoop/examples/*.class
        #rm -rf org
        上面的删除操作是必须的,否则会找错路径(找到org/apache/hadoop/examples下去了)。
        (C)执行程序
        #hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount /tmp/input /tmp/output02

        需要注意的是:不要在VMWare虚拟机上部署伪分布式集群跑这个MapReduce任务,否则会慢到让你感觉它一直卡着没动静


阅读(4453) | 评论(2) | 转发(1) |
1

上一篇:Linux之rzsz

下一篇:HBase初探之安装与配置

给主人留下些什么吧!~~

scq2099yt2014-02-26 19:33:31

文明上网,理性发言...

评论热议
请登录后评论。

登录 注册