Yarn的安装部署

1. 下载JDK，安装部署JAVA环境。如下修改~/.bashrc

(1)export JAVA_HOME=/home/xxx/jdk1.6.0_24
(2)export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(3)export PATH=$JAVA_HOME/bin:$PATH

2. 设置ssh免登录

(1) 在机器A上执行ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，这个命令会在.ssh文件夹下产生id_dsa和id_dsa.pub两个文件，这是ssh的一对私钥和公钥；
(2) 将A的公钥id_dsa.pub分发出去，比如要实现A到B的登录，则将A的公钥注册到B机器的autorized_keys中去；在A上执行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys，因为本地也需要打通；在B上执行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys，注意id_dsa.pub是A的公钥；

3. 下载解压hadoop-2.0.5-alpha，进入到hadoop-2.0.5-alpha/etc/hadoop做如下修改

(1) 修改core-site.xml，配置hdfs    


fs.default.name
hdfs://hostname:8020
true

(2) 将mapred-site.xml.template重命名为mapred-site.xml，配置为yarn模式


mapreduce.framework.name
yarn

(3) 修改yarn-site.xml


yarn.nodemanager.aux-services
mapreduce.shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

(4) 修改hdfs-site.xml


dfs.namenode.name.dir
/home/hadoop/name


dfs.datanode.data.dir
/home/hadoop/data


dfs.replication
1


dfs.permissions
false

(5) 修改slaves
在这个文件中输入NodeManager的ip地址，每个ip地址一行

(6) 启动hdfs
可以使用以下命令分别启动NameNode和DataNode
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode （如果有多个datanode，需要使用hadoop-daemons.sh）
或者一次启动：sbin/start-dfs.sh

(7) 启动yarn
可以使用以下命令分别启动ResourceManager和NodeManager
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager（若有多个nodemanager，需要使用yarn-daemons.sh）
或者一次启动：sbin/start-yarn.sh

(8) 检查是否成功运行
打开浏览器，输入：

(9) 运行应用程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.1.1.jar pi 20 10

(10) 可以通过jps命令来查看各服务的启动情况
30756 SecondaryNameNode
31060 ResourceManager
30414 NameNode
30566 DataNode
17511 Jps
31190 NodeManager
注：ps类似linux的ps命令，不同的是ps是用来显示进程，而jps只显示java进程，准确的说是当前用户已启动的部分java进程信息，信息包括进程号和简短的进程command。