Hadoop安装简单版本

Hadoop安装简单版

操作系统环境： Linux ubuntu 3.2.0-23-generic-pae

Hadoop版本： hadoop-1.0.3

master: 192.168.1.2

slaver: 192.168.1.3

一, SSH免密码

    通过ssh-keygen产生公私钥，将公钥copy到希望免ssh密码登陆的机子上。

    master上操作：

su hadoop

cd /home/hadoop

ssh-keygen -t rsa -P ''

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

/etc/init.d/ssh restart

ssh localhost 

测试本机是否免密码

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/

将id_rsa.pub拷贝到192.168.1.3:/home/hadoop/id_rsa.pub

    slave上的操作：

su hadoop

cd /home/hadoop

cat id_rsa.pub >> .ssh/authorized_keys

rm id_rsa.pub

二, 安装java设置路径

export JAVA_HOME=/usr/java/jdk1.6.0_31

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop用户

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME:$HADOOP_HOME/bin

三, 配置文件

in master

mkdir /usr/hadoop/tmp

chown -R hadoop /usr/hadoop

vi /usr/hadoop/conf/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.6.0_31

vi /usr/hadoop/conf/core-site.xml

hadoop.tmp.dir

/usr/hadoop/tmp

（备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹）

temporary directories.

fs.default.name

hdfs://192.168.1.2:9000

vi /usr/hadoop/conf/hdfs-site.xml

dfs.replication

1

vi /usr/hadoop/conf/mapred-site.xml

mapred.job.tracker

vi /usr/hadoop/conf/masters

192.168.1.2

vi /usr/hadoop/conf/slaves

192.168.1.3

in slaves

将master的整个hadoop目录copy到slaves就可以了, slaves的配置和master的配置基本一样

scp -r /usr/hadoop hadoop@192.168.1.3:/usr

四，运行

在master上执行命令

格式化namenode

hadoop namenode -format

在namenode，开启服务

start-all.sh

在namenode，关闭服务

stop-all.sh

namenode离开安全模式

hadoop dfsadmin -safemode leave

验证：

jps 

hadoop dfsadmin -report

192.168.1.2:50030   mapreduce admin

192.168.1.2:50070   namenode  admin