Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1150465
  • 博文数量: 188
  • 博客积分: 2267
  • 博客等级: 大尉
  • 技术积分: 1907
  • 用 户 组: 普通用户
  • 注册时间: 2011-08-01 11:17
文章分类

全部博文(188)

文章存档

2016年(16)

2015年(16)

2014年(12)

2013年(32)

2012年(45)

2011年(67)

分类: 云计算

2012-04-05 23:48:20

hadoop 有三种模式:a.单机模式 b.伪分布式模式c.完全分布式模式

今天我在这里做的是c.完全分布式模式

机器环境:master  10.1.1.3

          node1    10.1.1.4

          node2    10.1.1.5

系统环境:centos6.2

软件环境:java 1.7         hadoop-1.0.1

 Wget

 Wget

 

三台机子上相同的配置:

解压jdk后复制到/usr/local/

/etc/profile

 

export JAVA_HOME=/usr/local/jdk1.7.0_03/

export CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:.

export PATH=$JAVA_HOME/bin:$PATH

 

/etc/hosts

 

10.1.1.3        master

10.1.1.4        node1

10.1.1.10       node2

#useradd hadoop

# passwd hadoop

# su – hadoop

$ ssh-keygen

$ ssh-copy-id node1                                      //这种是传key最快,最简便的方法

$ ssh-copy-id node2




namenode(master):

$ cp -r hadoop-1.0.1 /home/hadoop/hadoop

$ cd /home/hadoop/hadoop

 

 

$ vim conf/hadoop-env.sh  //添加JAVA_HOME路径

export JAVA_HOME=/usr/local/jdk1.7.0_03

 

$ vim conf/core-site.xml

 

 

fs.default.name

hdfs://master:9000

 

$ vim conf/hdfs-site.xml

 

 

dfs.replication

1

~

 

 

$ vim conf/mapred-site.xml

 

 

mapred.job.tracker

master:9001

 

$ cat hadoop/conf/masters

master

$ cat hadoop/conf/slaves

node1

node2

所有的datanode(node1 & node2)配置都和namenode (master)一样,复制过去即可!

$ cd /home/hadoop

$ scp -r hadoop node1:/home/hadoop/

$ scp -r hadoop node2:/home/hadoop/

 

 

$ pwd

/home/hadoop/hadoop

 

$ bin/hadoop namenode –format //格式化

$ bin/start-all.sh //启动服务

$ bin/stop-all.sh //停止服务

 

阅读(3633) | 评论(3) | 转发(4) |
给主人留下些什么吧!~~

beyond3333502012-04-12 22:44:01

   看完你这个我自卑了...神马都不懂..

ykyx002012-04-07 23:18:20

我也是初学啊,呵呵 ,看书上写的解决方案是:使用avatar机制,在此机制里设置一个Standby NameNode节点,而原来的NameNode 被称为Primary NameNode 另外还有一个节点NFS 用来存储Primary NameNode 的日志

niao59292012-04-07 21:31:15

请问如何防止namenode的单点故障问题。呵呵。个人觉得现在好像最大的问题就是namenode单点故障将导致整个部署不可用。!!讲讲吧。呵呵谢谢