Chinaunix首页 | 论坛 | 博客
  • 博客访问: 609273
  • 博文数量: 79
  • 博客积分: 848
  • 博客等级: 军士长
  • 技术积分: 1800
  • 用 户 组: 普通用户
  • 注册时间: 2012-06-26 19:30
文章分类

全部博文(79)

文章存档

2015年(4)

2013年(39)

2012年(36)

分类: 云计算

2012-12-21 17:22:22

hadoop自从0.23.0之后的版本较之以前有了非常大的变化,加入了yarn模块,前几天用源码编译安装的时候还是遇到了挺多问题的,现在把一些编译安装的步骤贴在这里跟大家分享一下!
系统:ubuntu12.04
软件:hadoop 0.23.4
机器:Thinkpad T420
安装前环境的准备:
首先就是确保您的机器上已经安装maven,因为hadoop0.23.0之后的版本都是用maven来编译和管理的!至于maven的安装,大家可以直接在命令行:sudo apt-get install maven2,如果嫌版本太陈旧,可以去官网下载最新的版本去安装,配置。这里不再赘述!
下面正式开始编译源代码:
(1) 到源代码目录下面:
tar -zxf hadoop-0.23.4-src.tar.gz
(2)到源码中:
cd hadoop-0.23.4-src
(3)编译源代码:
mvn package -Pdist -DskipTests -Dtar
编译结束后,会生成hadoop-0.23.4-src/hadoop-dist/target/hadoop-0.23.4.tar.gz这个就是我们自己编译出来的二进制文件,假如我们对于源码没有改动的话,这跟我们在官网上下载的二进制代码是没有任何区别的,但是如果我们想要改动hadoop的源码的话,我们就必须要自己编译自己的源码了!
(4)hadoop-0.23.4的安装和配置
前面的几步跟之前版本配置是一样的,我这里我就把之前文章中的步骤直接复制了过来:
第一步:准备一台机器(貌似这个有点多余)我的是ubuntu11.10
第二步:下载一个hadoop的版本,我用的是hadoop0.21.0
第三步:安装java的运行环境:

点击(此处)折叠或打开

  1. sudo apt-get install openjdk-6-jdk
第三步:添加一个hadoop的专有用户:

点击(此处)折叠或打开

  1. groupadd hadoop
  2. useradd -g hadoop hadoop
  3. passwd hadoop
第四步:配置ssh本机免密码登录:

点击(此处)折叠或打开

  1. # su - hadoop
  2. $ ssh-keygen -t rsa -P ""
  3. $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
第五步:安装hadoop:

点击(此处)折叠或打开

  1. # cd /opt
  2. # tar xzf hadoop-0.21.0.tar.gz
  3. # ln -s hadoop-0.21.0 hadoop
  4. # chown -R hadoop:hadoop hadoop
第六步:设置环境变量:
su - hadoop
vi .bashrc
在文件的开头加入以下配置:

点击(此处)折叠或打开

  1. export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk
  2. export HADOOP_HOME=/opt/hadoop
  3. export PATH=$PATH:$HADOOP_HOME/bin
  4. export HADOOP_COMMON_HOME=$HADOOP_HOME
  5. export HADOOP_HDFS_HOME=$HADOOP_HOME
  6. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  7. export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
第七步:hadoop中的配置文件的设置:
1、cd /opt/hadoop/etc/hadoop
2、vi yarn-env.sh

点击(此处)折叠或打开

  1. export HADOOP_FREFIX=/opt/hadoop

  2. export HADOOP_COMMON_HOME=${HADOOP_FREFIX}

  3. export HADOOP_HDFS_HOME=${HADOOP_FREFIX}

  4. export PATH=$PATH:$HADOOP_FREFIX/bin

  5. export PATH=$PATH:$HADOOP_FREFIX/sbin

  6. export HADOOP_MAPRED_HOME=${HADOOP_FREFIX}

  7. export YARN_HOME=${HADOOP_FREFIX}

  8. export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop

  9. export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop
3、vi core-site.xml

点击(此处)折叠或打开

  1. <configuration>
  2. <property>
  3.     <name>fs.defaultFS</name>
  4.     <value>hdfs://localhost:54310/</value>
  5.   </property>
  6.   <property>
  7.     <name>hadoop.tmp.dir</name>
  8.     <value>/opt/hadoop/hadoop-root</value>
  9.   </property>
  10. <property>
  11.   <name>fs.arionfs.impl</name>
  12.   <value>org.apache.hadoop.fs.pvfs2.Pvfs2FileSystem</value>
  13.   <description>The FileSystem for arionfs.</description>
  14. </property>
  15. </configuration>
4、vi hdfs-site.xml

点击(此处)折叠或打开

  1.     <property>
  2.     <name>dfs.namenode.name.dir</name>
  3.     <value>file:/opt/hadoop/workspace/hadoop_space/dfs/name</value>
  4.     <final>true</final>
  5.     </property>
  6.     <property>
  7.     <name>dfs.namenode.data.dir</name>
  8.     <value>file:/opt/hadoop/workspace/hadoop_space/dfs/data</value>
  9.     <final>true</final>
  10.     </property>
  11.     <property>
  12.     <name>dfs.replication</name>
  13.     <value>1</value>
  14.     </property>
  15.     <property>
  16.     <name>dfs.permission</name>
  17.     <value>false</value>
  18.     </property>
5、vi mapred-site.xml

点击(此处)折叠或打开

  1.     <property>
  2.     <name>mapreduce.framework.name</name>
  3.     <value>yarn</value>
  4.     </property>
  5.     <property>
  6.     <name>mapreduce.job.tracker</name>
  7.     <value>hdfs://localhost:9001</value>
  8.     <final>true</final>
  9.     </property>
  10.     <property>
  11.     <name>mapreduce.map.memory.mb</name>
  12.     <value>1536</value>
  13.     </property>
  14.     <property>
  15.     <name>mapreduce.map.java.opts</name>
  16.     <value>-Xmx1024M</value>
  17.     </property>
  18.     <property>
  19.     <name>mapreduce.reduce.memory.mb</name>
  20.     <value>3072</value>
  21.     </property>
  22.     <property>
  23.     <name>mapreduce.reduce.java.opts</name>
  24.     <value>-Xmx2560M</value>
  25.     </property>
  26.     <property>
  27.     <name>mapreduce.task.io.sort.mb</name>
  28.     <value>512</value>
  29.     </property>
  30.     <property>
  31.     <name>mapreduce.task.io.sort.factor</name>
  32.     <value>100</value>
  33.     </property>    
  34.     <property>
  35.     <name>mapreduce.reduce.shuffle.parallelcopies</name>
  36.     <value>50</value>
  37.     </property>
  38.     <property>
  39.     <name>mapreduce.system.dir</name>
  40.     <value>file:/opt/hadoop/workspce/hadoop_space/mapred/system</value>
  41.     </property>
  42.     <property>
  43.     <name>mapreduce.local.dir</name>
  44.     <value>file:/opt/hadoop/workspce/hadoop_space/mapred/local</value>
  45.     <final>true</final>
  46.     </property>
6、vi yarn-site.xml

点击(此处)折叠或打开

  1. <property>
  2.     <name>yarn.nodemanager.aux-services</name>
  3.     <value>mapreduce.shuffle</value>
  4.   </property>
  5.   <property>
  6.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  7.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  8.   </property>
  9.   <property>
  10.     <name>mapreduce.framework.name</name>
  11.     <value>yarn</value>
  12.   </property>
  13.   <property>
  14.     <name>user.name</name>
  15.     <value>hadoop</value>
  16.   </property>
  17.   <property>
  18.     <name>yarn.resourcemanager.address</name>
  19.     <value>localhost:54311</value>
  20.   </property>
  21.   <property>
  22.     <name>yarn.resourcemanager.scheduler.address</name>
  23.     <value>localhost:54312</value>
  24.   </property>
  25.   <property>
  26.     <name>yarn.resourcemanager.webapp.address</name>
  27.     <value>localhost:54313</value>
  28.   </property>
  29.   <property>
  30.     <name>yarn.resourcemanager.resource-tracker.address</name>
  31.     <value>localhost:54314</value>
  32.   </property>
  33.   <property>
  34.     <name>yarn.web-proxy.address</name>
  35.     <value>localhost:54315</value>
  36.   </property>
  37.   <property>
  38.     <name>mapred.job.tracker</name>
  39.     <value>localhost</value>
  40.   </property>
ok!大功告成,下一步我们要启动hdfs只需要,去/opt/hadoop/sbin/目录下:
./start-dfs.sh
./start-yarn.sh
就行了!!!





阅读(3465) | 评论(1) | 转发(0) |
给主人留下些什么吧!~~

rickyfang2013-02-22 00:00:35

文章结构不错,段落明了,如果能加些说明,会更好,如vi mapred-site.xml这些配置参数时,说明其的作用。