centos 6.2 下部署 hadoop <一> 之部署体验

hadoop 有三种模式：a.单机模式 b.伪分布式模式c.完全分布式模式

今天我在这里做的是c.完全分布式模式

机器环境：master  10.1.1.3

          node1    10.1.1.4

          node2    10.1.1.5

系统环境：centos6.2

软件环境：java 1.7         hadoop-1.0.1

 Wget

 Wget

 

三台机子上相同的配置：

解压jdk后复制到/usr/local/下

/etc/profile

 

export JAVA_HOME=/usr/local/jdk1.7.0_03/

export CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:.

export PATH=$JAVA_HOME/bin:$PATH

 

/etc/hosts

 

10.1.1.3        master

10.1.1.4        node1

10.1.1.10       node2

#useradd hadoop

# passwd hadoop

# su – hadoop

$ ssh-keygen

$ ssh-copy-id node1                                      //这种是传key最快，最简便的方法

$ ssh-copy-id node2

namenode（master）:

$ cp -r hadoop-1.0.1 /home/hadoop/hadoop

$ cd /home/hadoop/hadoop

 

 

$ vim conf/hadoop-env.sh  //添加JAVA_HOME路径

export JAVA_HOME=/usr/local/jdk1.7.0_03

 

$ vim conf/core-site.xml

 

 

fs.default.name

hdfs://master:9000

 

$ vim conf/hdfs-site.xml

 

 

dfs.replication

1

~

 

 

$ vim conf/mapred-site.xml

 

 

mapred.job.tracker

master:9001

 

$ cat hadoop/conf/masters

master

$ cat hadoop/conf/slaves

node1

node2

所有的datanode（node1 & node2）配置都和namenode （master）一样，复制过去即可！

$ cd /home/hadoop

$ scp -r hadoop node1:/home/hadoop/

$ scp -r hadoop node2:/home/hadoop/

 

 

$ pwd

/home/hadoop/hadoop

 

$ bin/hadoop namenode –format //格式化

$ bin/start-all.sh //启动服务

$ bin/stop-all.sh //停止服务