全部博文(372)
2012年(372)
分类: 虚拟化
2012-03-06 19:04:51
1. Namenode和JobTracker的安装
这是完全分布模式集群的第一台,也是很关键的一台。采用VMWARE虚拟的Ubuntu Linux 11.10 server版。安装Linux非本文重点就不说了。 默认建立了一个用户叫abc, 其有sudo权限。root的口令是随机的一个口令,只能用sudo命令暂时提升到root权限。为保险起见,安装完系统第一件事就是改root密码。用sudo passwd root,系统不会问你要原口令,直接输入新口令两遍即可。有root口令在手,后面万一操作错误不至于束手无策。
1.1 安装JDK1.6
有个命令可以很快地安装jdk, sudo apt-get install sun-java6-jdk, 这是ubuntu系统本身一个机制。当时试了一下,没有成功,记得说是找不到包。不知道啥原因,要不网络不行,要不包名不对了。就放弃了。只好找另外的办法。
到Oracle网站上找到JDK 1.6的目前最新版本 JDK 1.6.0_31. 得到其下载链接:
选这个是因为它是32位的JDK, Ubuntu Linux选的是32位的。JDK所以也选32位。点“Accept License Agreement", 右键点到"jdk-6u31-linux-i586.bin"上,在属性中得到其链接:, 再回到虚拟机中,用abc登录,输入命令:
wget
这下载需要一段时间。等下载完成后,在/home/abc/下就有一个jdk-6u31-linux-i586.bin的文件。
sudo mkdir /usr/lib/jvm
cd /usr/lib/jvm
sudo mkdir java
cd java
sudo cp /home/abc/jdk-6u31-linux-i586.bin .
sudo chmod 777 jdk-6u31-linux-i586.bin
./jdk-6u31-linux-i586.bin
这样就开始安装jdk了。一会就安装好了。
sudo vi /etc/environment
将此文件做如下修改:
在PATH那一行后面添加 :/usr/lib/jvm/java/jdk1.6.0_31/bin 注意/usr前面那个冒号是需要的。
再加这两行:
CLASSPATH=.:/usr/lib/jvm/java/jdk1.6.0_31/lib
JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_31
保存
说明:有的地方说linux 系统本身会默认安装一些包如openjdk包,就会造成多个jvm共存。还需要用update -alternatives 命令去选择默认的jvm到刚安装的jdk目录。
发现Ubuntu Linux11.10 server版默认没有装其他的任何jdk包,在此之前连java命令都无法运行,所以不需要运行update-alternatives 命令了。
sudo reboot
1.2 建立hadoop用户和hadoop组
重启系统后,登录abc用户
sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop
输入新口令两遍,然后是一些无关紧要的信息,一路回车直到完成命令。hadoop用户就建立了。
su
输入root的口令,成功后就换成了root用户
继续输入命令:
chmod u+w /etc/sudoers
vi /etc/sudoers
在此行:root ALL=(ALL:ALL) ALL 后加一行:
hadoop ALL=(ALL:ALL) ALL
意思就是允许hadoop用户sudo运行任何命令
保存
chmod u-w /etc/sudoers
这是把sudoers文件的权限改回440, 即root用户通常也只读。Ubuntu linux的sudo 命令运行时会检查这个文件权限是否440, 如果不是440, sudo命令都没有办法工作。所以改完之后一定要改回原来的440.
作为root用户的任务就结束了,输入exit退出root用户
再输入exit退出abc用户
1.3 配置SSH Key以便hadoop用户无密码登录集群
再用刚刚建立的用户hadoop来登录,
sudo apt-get install ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
要用命令ssh localhost来测试一下ssh是否工作,如果不用输入口令那就正确。
1.4 检查主机名,修改/etc/hostname, /etc/hosts
sudo vi /etc/hostname
检查系统自动分配的主机名是否合适,不合适的话改成一个有意义的名字,如namenode,保存
ifconfig
看看当前IP,记录下来。
sudo vi /etc/hosts
那些127开头的两行都不用动,
在后面加刚刚记录的IP 和新改的主机名,保存
这个很重要。不正确地做的话,可能后面jobtracker的reduce步骤运行不正常。
1.5 安装hadoop包
从找一个当前的stable的版本。找到了0.20.203.0版本,找一个比较近的镜像站点。wget下载此包到/home/hadoop/目录下。
继续以hadoop用户输入命令
sudo mkdir /usr/local/hadoop
sudo chown hadoop:hadoop /usr/local/hadoop
cp /home/hadoop/hadoop-0.20.203.0rc1.tar.gz /usr/local/hadoop
cd /usr/local/hadoop
tar zxvf hadoop-0.20.203.0rc1.tar.gz
cd hadoop-0.20.203.0/conf
vi hadoop-env.sh
就把这行改成这样:export JAVA_HOME=/usr/lib/jvm/java/jdk1.6.0_31/, 其他都可以暂时不动。
vi core-site.xml
里面是空的,将其内容改成:
vi hdfs-site.xml, 加入:
这个dfs.replication表示数据复制的份数,生产环境就不可能是1了,当然是要大于1了。
vi mapred-site.xml,将其改成:
注意这里jobtracker和namenode选用了同一个主机,即在同一台机器上,生产环境是可以namenode和jobtracker分开成两个机器的。
都改完成了。就修改一下PATH变量:
sudo vi /etc/environment
在PATH那一行后面再加上 :/usr/local/hadoop/hadoop-0.20.203.0/bin 保存, 这是为了能随时可用hadoop的命令。
sudo reboot重启
1.6 格式化hdfs
再用hadoop用户登录,
hadoop namenode -format
1.7 启动此单机配置及验证
start-all.sh
此hadoop单个节点的就启动了。
验证可以用:
jps
出这样的结果就对了:
3156 NameNode
2743 SecondaryNameNode
3447 Jps
2807 JobTracker
2909 TaskTracker
2638 DataNode
再hadoop dfsadmin -report
能显示出hdfs的信息
访问 显示hdfs的信息
还有 显示jobtracker的信息
再可以用一些常用命令将文件放到hdfs上,如
hadoop fs -put test.txt /user/hadoop/test.text
以上可以证明hdfs基本正常.下面要验证jobtracker和taskTracker是否正常,准备运行hadoop example中的wordcount程序。
cd /usr/local/hadoop/hadoop/hadoop-0.20.203.0
hadoop fs -put conf input
将conf目录拷贝到hdfs
hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output
得到大概这样的结果就对了, 即map增长到100%, reduce也增长到100%,
12/03/05 07:52:09 INFO input.FileInputFormat: Total input paths to process : 15
12/03/05 07:52:09 INFO mapred.JobClient: Running job: job_201203050735_0001
12/03/05 07:52:10 INFO mapred.JobClient: map 0% reduce 0%
12/03/05 07:52:24 INFO mapred.JobClient: map 13% reduce 0%
12/03/05 07:52:25 INFO mapred.JobClient: map 26% reduce 0%
12/03/05 07:52:30 INFO mapred.JobClient: map 40% reduce 0%
12/03/05 07:52:31 INFO mapred.JobClient: map 53% reduce 0%
12/03/05 07:52:36 INFO mapred.JobClient: map 66% reduce 13%
12/03/05 07:52:37 INFO mapred.JobClient: map 80% reduce 13%
12/03/05 07:52:39 INFO mapred.JobClient: map 80% reduce 17%
12/03/05 07:52:42 INFO mapred.JobClient: map 100% reduce 17%
12/03/05 07:52:51 INFO mapred.JobClient: map 100% reduce 100%
12/03/05 07:52:56 INFO mapred.JobClient: Job complete: job_201203050735_0001
12/03/05 07:52:56 INFO mapred.JobClient: Counters: 26
12/03/05 07:52:56 INFO mapred.JobClient: Job Counters
12/03/05 07:52:56 INFO mapred.JobClient: Launched reduce tasks=1
12/03/05 07:52:56 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=68532
12/03/05 07:52:56 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
12/03/05 07:52:56 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
12/03/05 07:52:56 INFO mapred.JobClient: Rack-local map tasks=7
12/03/05 07:52:56 INFO mapred.JobClient: Launched map tasks=15
12/03/05 07:52:56 INFO mapred.JobClient: Data-local map tasks=8
12/03/05 07:52:56 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=25151
12/03/05 07:52:56 INFO mapred.JobClient: File Output Format Counters
12/03/05 07:52:56 INFO mapred.JobClient: Bytes Written=14249
12/03/05 07:52:56 INFO mapred.JobClient: FileSystemCounters
12/03/05 07:52:56 INFO mapred.JobClient: FILE_BYTES_READ=21493
12/03/05 07:52:56 INFO mapred.JobClient: HDFS_BYTES_READ=27707
12/03/05 07:52:56 INFO mapred.JobClient: FILE_BYTES_WRITTEN=384596
12/03/05 07:52:56 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=14249
12/03/05 07:52:56 INFO mapred.JobClient: File Input Format Counters
12/03/05 07:52:56 INFO mapred.JobClient: Bytes Read=25869
12/03/05 07:52:56 INFO mapred.JobClient: Map-Reduce Framework
12/03/05 07:52:56 INFO mapred.JobClient: Reduce input groups=754
12/03/05 07:52:56 INFO mapred.JobClient: Map output materialized bytes=21577
12/03/05 07:52:56 INFO mapred.JobClient: Combine output records=1047
12/03/05 07:52:56 INFO mapred.JobClient: Map input records=734
12/03/05 07:52:56 INFO mapred.JobClient: Reduce shuffle bytes=21577
12/03/05 07:52:56 INFO mapred.JobClient: Reduce output records=754
12/03/05 07:52:56 INFO mapred.JobClient: Spilled Records=2094
12/03/05 07:52:56 INFO mapred.JobClient: Map output bytes=34601
12/03/05 07:52:56 INFO mapred.JobClient: Combine input records=2526
12/03/05 07:52:56 INFO mapred.JobClient: Map output records=2526
12/03/05 07:52:56 INFO mapred.JobClient: SPLIT_RAW_BYTES=1838
12/03/05 07:52:56 INFO mapred.JobClient: Reduce input records=1047
最后再hadoop fs -get output /home/hadoop 将output目录取到本地来查看结果。
1.8 单机的停止
stop-all.sh
1.9 遇到的问题
Too many fetch-failures问题
运行wordcount示例时,reduce任务无法达到100%总是卡住在0%.
分析log里面有Too many fetch-failures信息,上网查了一下,有人说要将IP地址还有hostname都要写到/etc/hosts里面,才行。
照着做了一下,发现还是不行。正头大之际,经过不懈努力,终于找到症结:原来ubuntu linux给指定的一个主机名是192,这个主机名192已经成了hdfs的标准配置了。即使本人后来将主机名改成有意义的名字,这个顺序已经不对了,因为发现logs目录下的每个任务的配置文件xml文件还是用的老主机名,新改的主机名根本就没有用上,而这个老主机名存在哪里呢,后来发现这个主机名存在hdfs文件系统的那些文件里。所以需要从1.4步开始到1.8步重新做一遍。如此重新做了一遍以后,运行wordcount示例程序就成功了。
本人回答过qq群里同仁的问题:
运行hadoop namenode -format报main函数找不到
回答:CLASSPATH设置不对。
单机安装配置就讲这么多。本文就说到这里了。本文之后的文章将说到如何将新的hadoop节点加入,让多个节点成为一个完全分步式的集群。
如果觉得本文有帮助,请帮忙点推荐。谢谢