hadoop 1.2.1 配置 学习笔记(一)

hadoop 1.2.1 配置 学习笔记(一)

分类： hadoop2013-09-16 16:58 467人阅读 评论(0) 收藏 举报

centos Hadoop 1.2.1 配置安装

分类： Hadoop2013-08-30 00:24 224人阅读 评论(0)  举报

 最近想找互联网 方面的工作,准备学点大数据处理方面的东西,综合 查询资料和 稳定性考虑,准备学习目前最新版本1.21

首先到 官网下载  hadoop-1.2.1.tar.gz  不要下载 rpm的 rpm 解压后目录不好控制,而且执行文件和 运行目录在两个地方.

。

----------------------------------------单机模式-----------------------------------------

下载：hadoop-1.2.1.tar.gz

解压：

1. tar -xzvf hadoop-1.2.1.tar.gz   

转移：

1. mv hadoop-1.2.1/ /opt  

进入conf文件配置环境变量

让环境变量配置生效source，是source,不是sh,补充下sh和.的区别，参考

1. source hadoop-env.sh   

检测是否安装成功

单机版hadoop安装成功，测试一下

mkdir input

cp -R conf input/

运行wordcount程序并将结果保存到output

hadoop hadoop-examples-1.2.1.jar 

错误: 找不到或无法加载主类 hadoop-examples-1.2.1.jar

hadoop jar hadoop-examples-1.2.1.jar wordcount input output   发现错误，粗心害死猫....修改后运行,OK!

单机模式成功， 接下来搭建伪分布式

-------------------------------------------华丽的分割线 伪分布式-----------------------------------------

hadoop目录下创建以下目录：

1. dat@dat-HP:/opt/hadoop-1.2.1$ mkdir tmp  
2. dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs  
3. dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hdfs/name  
4. dat@dat-HP:/opt/hadoop-1.2.1$ mkdir hafs/data  

编辑core-site.xml

1.   
2.      
3.         fs.default.name  
4.         hdfs://localhost:9000  
5.       
6.       
7.         hadoop.tmp.dir  
8.         /opt/hadoop-1.2.1/tmp  
9.       
10.   

hdfs-site.xml:

1.   
2.     
3.         dfs.replication  
4.         1  
5.       
6.       
7.         dfs.name.dir  
8.         /opt/hadoop-1.2.1/hdfs/name  
9.       
10.       
11.         dfs.data.dir  
12.         /opt/hadoop-1.2.1/hdfs/data  
13.       
14.   

mapred-site.xml:

1.   
2.     
3.         mapred.job.tracker  
4.         localhost:9001  
5.       
6.   

格式化HDFS(建议只格式化一次，多次格式化据传后边会引起问题，本人没有尝试...):

1. dat@dat-HP:/opt/hadoop-1.2.1/conf$ source hadoop-env.sh   
2. dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop namenode -format  

启动Hadoop:

执行执行bin/start-all.sh来启动所有服务，包括namenode,datanode，start-all.sh脚本用来装载守护进程

1. dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh   

用java的jps命令验证是否安装成功：

1. dat@dat-HP:/opt/hadoop-1.2.1$ jps  

少一个DataNode进程没有启动，通过查看上边现实的路径下的日志发现：

很明显，data文件夹的权限不对，修改权限：

1. dat@dat-HP:/opt/hadoop-1.2.1/hdfs$ chmod 755 data  

关闭hadoop,重新启动：

1. dat@dat-HP:/opt/hadoop-1.2.1/bin$ stop-all.sh  

1. dat@dat-HP:/opt/hadoop-1.2.1/bin$ start-all.sh   

1. dat@dat-HP:/opt/hadoop-1.2.1/bin$ jps  

6个进程全部启动了，此时安装正常，可以进行Hadoop的相关操作了。

检查运行状态：可以通过下面的操作来查看服务是否正常，在Hadoop中用于监控集群健康状态的Web界面

    - Hadoop 管理介面
    - Hadoop Task Tracker 状态
    - Hadoop DFS 状态

hadoop的伪分布模式已经安装成功，再次在伪分布模式下运行一下WordCount来感受MapReduce过程：

这时注意程序是在文件系统dfs运行的，创建的文件也都基于文件系统：

首先在dfs中创建input目录

1. dat@dat-HP:/opt/hadoop-1.2.1/conf$ hadoop dfs -mkdir input  
2. Warning: $HADOOP_HOME is deprecated.  

将conf中的文件拷贝到dfs中的input

1. dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -copyFromLocal conf/* input  

在伪分布式模式下运行WordCount

1. hadoop dfs -rmr output/  
2. hadoop jar hadoop-examples-1.2.1.jar wordcount input output  

依旧不起作用...........重启，再重新来过.................ok！！！

oK!!看见没有，你成功了！！！！！！

检测一下输出信息：

1. dat@dat-HP:/opt/hadoop-1.2.1$ hadoop dfs -cat output/*  

ok!!此时伪分布式系统环境已可以正常使用~~~！

YOU GET YOUR FOOT IN THE DOOR！

在做实例时 遇到namenode 无法启动的情况  需要 格式化一下  如果提示失败 先删除  /hdfs/name 文件夹 再尝试 成功

参考  http://blog.csdn.net/wyswlp/article/details/10564847