Chinaunix首页 | 论坛 | 博客
  • 博客访问: 10222557
  • 博文数量: 1669
  • 博客积分: 16831
  • 博客等级: 上将
  • 技术积分: 12594
  • 用 户 组: 普通用户
  • 注册时间: 2011-02-25 07:23
个人简介

柔中带刚,刚中带柔,淫荡中富含柔和,刚猛中荡漾风骚,无坚不摧,无孔不入!

文章分类

全部博文(1669)

文章存档

2023年(4)

2022年(1)

2021年(10)

2020年(24)

2019年(4)

2018年(19)

2017年(66)

2016年(60)

2015年(49)

2014年(201)

2013年(221)

2012年(638)

2011年(372)

分类: 架构设计与优化

2013-11-25 16:16:44



相关阅读:

在Ubuntu 12.10 上安装部署Openstack 

Ubuntu 12.04 OpenStack Swift单节点部署手册 

在Ubuntu上安装OpenStack的Swift组件-installing openstack object storage 

OpenStack Hands on lab系列  

1. 创建hadoop用户组和用户

a. 创建hadoop用户组 

sudo addgroup hadoop

b. 创建hadoop用户

sudo adduser –ingroup hadoop hadoop

 

c. 编辑/etc/sudoers文件,为hadoop用户添加权限

sudo vim /etc/sudoers

给hadoop用户赋予root相同的权限 

hadoop ALL=(ALL:ALL) ALL

注意:/etc/sudoers文件可能为readonly文件,修改后使用“:wq!”保存

2. 安装JDK

安装JDK的教程网上资料非常多,故省略

注意:不要安装OpenJDK,在官网上下载JDK(Oracle JDK不能使用apt-get install安装)

3. 安装ssh服务 

sudo apt-get install openssh-server

4. 设置ssh无密码登录

执行su –命令切换到hadoop用户

su – hadoop

ssh生成密钥有rsa和dsa两种,默认采用rsa方式

a. 创建ssh-key(采用rsa方式)

ssh-keygen -t rsa -P ""

b. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中

  1. cd ~/.ssh
  2. cat id_rsa.pub >> authorized_keys

c. 无密码登录localhost

ssh localhost

 

d. 退出ssh连接

  1. exit

 



5. 安装

a. 复制hadoop文件至/usr/local

  1. sudo cp sf_share/HadoopDatabase/hadoop-1.1.2.tar.gz/usr/local/

 

b. 解压.tar.gz文件

  1. cd /usr/local/
  2. sudo tar -zxvf hadoop-1.1.2.tar.gz

 

c. 修改文件名为hadoop

  1. sudo mv hadoop-1.1.2 hadoop

 

d. 将hadoop文件夹的属主用户设为hadoop

  1. sudo chown -R hadoop:hadoop hadoop

 

e. 修改配置文件conf/hadoop-env.sh的JDK路径

  1. sudo vim hadoop/conf/hadoop-env.sh
  2. export JAVA_HOME=/usr/local/jvm/jdk1.6.0_45

 

f. 修改conf/core-site.xml文件

  1. sudo vimhadoop/conf/core-site.xml

 

配置文件如下所示:

  1. xmlversion="1.0"?>
  2. xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5. <name>fs.default.namename>
  6. <value>hdfs://localhost:9000value>
  7. property>
  8. configuration>

 

g. 修改conf/mapred-site.xml文件

  1. sudo vimhadoop/conf/mapred-site.xml

 

配置文件如下所示:

  1. xmlversion="1.0"?>
  2. xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5. <name>mapred.job.trackername>
  6. <value>localhost:9001value>
  7. property>
  8. configuration>

 

h. 修改conf/hdfs-site.xml文件

  1. sudo vimhadoop/conf/hdfs-site.xml

 

配置文件如下所示:

  1. xmlversion="1.0"?>
  2. xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5. <name>dfs.name.dirname>
  6. <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2value>
  7. property>
  8. <property>
  9. <name>dfs.data.dirname>
  10. <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2value>
  11. property>
  12. <property>
  13. <name>dfs.replicationname>
  14. <value>2value>
  15. property>
  16. configuration>

 

i. 编辑配置文件conf/masters,添加作为secondarynamenode的主机名(单机版仅localhost即可)

  1. sudo vimhadoop/conf/masters

 j. 编辑配置文件conf/slaves,添加作为slave的主机名(单机版仅localhost即可)

  1. sudo vimhadoop/conf/slaves

 6. 运行单机版hadoop

a. 进入hadoop目录,格式化hdfs文件系统(初次运行必做操作)

  1. bin/hadoop namenode –format

b. 启动hadoop

  1. bin/start-all.sh

 

c. 查看hadoop是否运行成功

浏览器中输入查看NameNode

浏览器中输入查看JobTracker

d. 停止hadoop

  1. bin/stop-all.sh

更多相关信息见 专题页面 

阅读(1240) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~