分类: 云计算
2012-04-05 23:48:20
hadoop 有三种模式:a.单机模式 b.伪分布式模式c.完全分布式模式
今天我在这里做的是c.完全分布式模式
机器环境:master 10.1.1.3
node1 10.1.1.4
node2 10.1.1.5
系统环境:centos6.2
软件环境:java 1.7 hadoop-1.0.1
Wget
Wget
三台机子上相同的配置:
解压jdk后复制到/usr/local/下
/etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_03/
export CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:.
export PATH=$JAVA_HOME/bin:$PATH
/etc/hosts
10.1.1.3 master
10.1.1.4 node1
10.1.1.10 node2
#useradd hadoop
# passwd hadoop
# su – hadoop
$ ssh-keygen
$ ssh-copy-id node1 //这种是传key最快,最简便的方法
$ ssh-copy-id node2
namenode(master):
$ cp -r hadoop-1.0.1 /home/hadoop/hadoop
$ cd /home/hadoop/hadoop
$ vim conf/hadoop-env.sh //添加JAVA_HOME路径
export JAVA_HOME=/usr/local/jdk1.7.0_03
$ vim conf/core-site.xml
$ vim conf/hdfs-site.xml
~
$ vim conf/mapred-site.xml
$ cat hadoop/conf/masters
master
$ cat hadoop/conf/slaves
node1
node2
所有的datanode(node1 & node2)配置都和namenode (master)一样,复制过去即可!
$ cd /home/hadoop
$ scp -r hadoop node1:/home/hadoop/
$ scp -r hadoop node2:/home/hadoop/
$ pwd
/home/hadoop/hadoop
$ bin/hadoop namenode –format //格式化
$ bin/start-all.sh //启动服务
$ bin/stop-all.sh //停止服务