Chinaunix首页 | 论坛 | 博客
  • 博客访问: 403336
  • 博文数量: 22
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1712
  • 用 户 组: 普通用户
  • 注册时间: 2013-09-09 10:51
文章分类

全部博文(22)

文章存档

2016年(3)

2015年(6)

2014年(1)

2013年(12)

我的朋友

分类: HADOOP

2014-04-17 14:16:31

1 安装准备
    此集群共三台机器,一台作为master: NameNode/ResouceManager,其余作为slaves: DataNode/NodeManager
    三台机器都增加一个用户名,比如:hadoop
1.1 安装jdk
    请参考《ubuntu 12.04安装oracle jdk1.7
1.2 设置集群中每台机器的hostname
    $sudo vim /etc/hostname  在此文件中修改自己的hostname,修改好后可以使用以下命令进行查看
    $hostname
    在集群中的每台机器中修改hosts文件,一般是修改好一个文件后将文件传到其他机器相应的路径下
    $sudo vim /etc/hosts
    在此文件中加入以下内容,比如
    192.168.8.1    master
    192.168.8.2    slave1
    192.168.8.3    slave2
1.3 安装ssh
    直接使用命令进行安装
    $sudo apt-get install ssh
2 安装部署
2.1 设置集群ssh无密码登录
    $ssh-keygen -t dsa -P ''   在.ssh目录下生成两个文件一个是id_dsa,一个是id_dsa.pub
    $cat id_dsa.pub >> authorized_keys    将id_dsa.pub中的内容追加到认证的公钥文件authorized_keys
    $cat  ~/.ssh/authorized_keys | ssh hadoop@192.168.8.2 "cat - >> ~/.ssh/authorized_keys"    将authorized_keys的内容追加到其他两个机器的authorized_keys中
2.2 下载hadoop2.2.0安装包
    下载地址:
2.3 解压安装包
    $tar -xzvf hadoop-2.2.0.tar.gz
    $cd hadoop-2.2.0
2.4 修改配置文件
2.4.1
    $sudo vim /etc/profile
    在文件末尾加上以下内容
    # Hadoop
    export HADOOP_HOME="/home/hadoop/hadoop-2.2.0"
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    export HADOOP_MAPRED_HOME=${HADOOP_HOME}
    export HADOOP_COMMON_HOME=${HADOOP_HOME}
    export HADOOP_HDFS_HOME=${HADOOP_HOME}
    export YARN_HOME=${HADOOP_HOME}
    # Native Path
    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

    运行以下命令是环境变量生效
    sudo source /etc/profile
2.4.2 hadoop-env.sh
    $cd ~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
    在文件中加入以下内容
    export JAVA_HOME=/usr/local/jdk1.7
    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
2.4.3 yarn-env.sh
    $cd ~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
    在文件中加入以下内容
    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
2.4.4 
core-site.xml
    $cd ~/hadoop-2.2.0/etc/hadoop/core-site.xml

    在文件中加入以下内容,临时文件夹需要自己创建。
     
点击(此处)折叠或打开
  1. <property>
  2.   <name>fs.defaultFS</name>
  3.   <value>hdfs://192.168.8.1:9000</value>
  4.   <final>true</final>
  5. </property>
  6. <property>
  7.   <name>hadoop.tmp.dir</name>
  8.   <value>/home/hadoop/hadoop-2.2.0/temp</value>
  9. </property>
2.4.5 hdfs-site.xml
    $cd ~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
    在文件中加入以下内容,name和data文件夹需要自己创建

点击(此处)折叠或打开

  1. <property>
  2.     <name>dfs.namenode.name.dir</name>
  3.     <value>file:/opt/hadoo/dfs/name</value>
  4.     <final>true</final>
  5. </property>
  6.   
  7. <property>
  8.     <name>dfs.datanode.data.dir</name>
  9.     <value>file:/opt//hadoop/dfs/data</value>
  10.     <final>true</final>
  11. </property>
  12. <property>
  13.     <name>dfs.replication</name>
  14.     <value>1</value>
  15. </property>
  16.   
  17. <property>
  18.     <name>dfs.permissions</name>
  19.     <value>false</value>
  20. </property>
2.4.6 mapred-site.xml
    $cd ~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
    在文件中加入以下内容

点击(此处)折叠或打开

  1. <property>
  2.     <name>mapreduce.framework.name</name>
  3.     <value>yarn</value>
  4. </property>
  5.   
  6. <property>
  7.     <name>mapred.system.dir</name>
  8.     <value>file:/opt/hadoop/mapred/system</value>
  9.     <final>true</final>
  10. </property>
  11.   
  12. <property>
  13.     <name>mapred.local.dir</name>
  14.     <value>file:/opt/hadoop/mapred/local</value>
  15.     <final>true</final>
  16. </property>
2.4.7 yarn-site.xml
    $cd ~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
    在文件中加入以下内容

点击(此处)折叠或打开

  1. <property>
  2.   <name>yarn.resourcemanager.address</name>
  3.   <value>master:8032</value>
  4. </property>
  5.  
  6. <property>
  7.   <name>yarn.resourcemanager.scheduler.address</name>
  8.   <value>master:8030</value>
  9. </property>
  10.  
  11. <property>
  12.   <name>yarn.resourcemanager.resource-tracker.address</name>
  13.   <value>master:8031</value>
  14. </property>
  15.  
  16. <property>
  17.   <name>yarn.resourcemanager.admin.address</name>
  18.   <value>master:8033</value>
  19. </property>
  20.  
  21. <property>
  22.   <name>yarn.resourcemanager.webapp.address</name>
  23.   <value>master:8088</value>
  24. </property>
  25.  
  26. <property>
  27.     <name>yarn.nodemanager.aux-services</name>
  28.     <value>mapreduce_shuffle</value>
  29. </property>
  30.   
  31. <property>
  32.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  33.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  34. </property>
2.4.8 配置slaves文件   
    在文件中加入一下内容
    slave1
    slave2 
2.5 将配置好的hadoop文件夹考到其余节点上   
    $scp -r ~/hadoop-2.2.0 hadoop@192.168.8.2:~/
   $scp -r ~/hadoop-2.2.0 hadoop@192.168.8.3:~/
2.6 启动集群
    2.6.1 格式化集群
        $cd ~/hadoop-2.2.0
       $bin/hdfs namenode -format            如果成功启动,那么就可以启动集群完成自己的工作了
    2.6.2 启动集群
        $cd ~/hadoop-2.2.0/sbin
        $./start-dfs.sh
        $./start-yarn.sh
    启动完成之后可以在master和slave节点查看,启动的进程是否成功,使用一下命令
        $jps
    在master节点上应该有以下进程:ResourceManager、NameNode、SecondaryNameNode
    在slave节点上应该有以下进程:NodeManager、DataNode




阅读(4838) | 评论(0) | 转发(2) |
给主人留下些什么吧!~~