Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6792039
  • 博文数量: 3857
  • 博客积分: 6409
  • 博客等级: 准将
  • 技术积分: 15948
  • 用 户 组: 普通用户
  • 注册时间: 2008-09-02 16:48
个人简介

迷彩 潜伏 隐蔽 伪装

文章分类

全部博文(3857)

文章存档

2017年(5)

2016年(63)

2015年(927)

2014年(677)

2013年(807)

2012年(1241)

2011年(67)

2010年(7)

2009年(36)

2008年(28)

分类: 系统运维

2015-05-09 22:36:12

Hadoop2.6集群环境搭建(伪分布式)

[日期:2015-05-09] 来源:Linux社區  作者:myresearch [字体:  ]

以前安装过几个版本的单机版,主要是为了研究Hadoop源代码,现在想更加深入Hadoop整个生态系统,选择安装Hadoop完全分布式,由于目前Hadoop最新版本为2.6,于是选择这个版本安装使用

准备工作:

1、笔记本4G内存 ,操作系统WIN7(纯屌丝配置)

2、工具:VMware Workstation

3、虚拟机:6.5(64位)共3台,一个master,两个slave,

安装好一个主机master的CentOS系统,

1、系统环境设置(先配置master节点)

1.1 修改主机名

# vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master
NTPSERVERARGS=iburst

1.2 修改主机名和IP的映射关系(hosts)

# vim /etc/hosts

添加:192.168.111.131 master

1.3 关闭防火墙

# service iptables status   //查看防火墙的状态

# service iptables stop  //关闭防火墙

# chkconfig iptables --list  //查看防火墙开机启动状态

# chkconfig iptables off  //关闭防火墙开机启动

1.4 重启系统

#reboot

2.安装jdk

1、下载jdk,地址:

2、上传到虚拟机

3、解压jdk

#mkdir opt

#tar -zxvf jdk-7u79-linux-x64.tar.gz

4、将java添加到环境变量中

#vim /etc/profile

//在文件的最后添加

export JAVA_HOME=/home/master/opt/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile

# java -version

3. 配置ssh免登录

$ ssh-keygen -t rsa  (四个回车)

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ~/.ssh/authorized_keys   //查看rsa

4. 安装hadoop2.6.0

首先将hadoop解压缩到opt文件夹

4.1 配置hadoop

4.1.1 配置hadoop-env.sh

将 JAVA_HOME 修改为刚才配置的位置
export JAVA_HOME=/home/master/opt/jdk1.7.0_79

4.1.2 配置core-site.xml

添加下面的内容:

<configuration> <property> <name>fs.defaultFSname> <value>hdfs://master:9000value> property> <property> <name>hadoop.tmp.dirname> <value>/home/master/opt/hadoop-2.6.0/tmpvalue> property> <property> <name>io.file.buffer.sizename> <value>4096value> property> configuration>

4.1.3 配置hdfs-site.xml

添加下面的内容:

<configuration> <property> <name>dfs.replicationname> <value>2value> property> <property> <name>dfs.namenode.name.dirname> <value>file:///home/master/opt/hadoop-2.6.0/dfs/namevalue> property> <property> <name>dfs.datanode.data.dirname> <value>file:///home/master/opt/hadoop-2.6.0/dfs/datavalue> property> <property> <name>dfs.nameservicesname> <value>h1value> property> <property> <name>dfs.namenode.secondary.http-addressname> <value>master:50090value> property> <property> <name>dfs.webhdfs.enabledname> <value>truevalue> property> configuration>

4.1.4 配置mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

添加下面的内容:

<configuration> <property> <name>mapreduce.framework.namename> <value>yarnvalue> <final>truefinal> property> <property> <name>mapreduce.jobtracker.http.addressname> <value>master:50030value> property> <property> <name>mapreduce.jobhistory.addressname> <value>master:10020value> property> <property> <name>mapreduce.jobhistory.webapp.addressname> <value>master:19888value> property> <property> <name>mapred.job.trackername> <value>value> property> configuration>

4.1.5 配置yarn-site.xml

添加下面的内容:

<configuration>  <property> <name>yarn.resourcemanager.hostnamename> <value>mastervalue> property> <property> <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property> <property> <name>yarn.resourcemanager.addressname> <value>master:8032value> property> <property> <name>yarn.resourcemanager.scheduler.addressname> <value>master:8030value> property> <property> <name>yarn.resourcemanager.resource-tracker.addressname> <value>master:8031value> property> <property> <name>yarn.resourcemanager.admin.addressname> <value>master:8033value> property> <property> <name>yarn.resourcemanager.webapp.addressname> <value>master:8088value> property> configuration>

4.2 将hadoop添加到环境变量

export HADOOP_HOME=/home/master/opt/hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# source /etc/profile

4.3 格式化namenode

# hdfs namenode -format

4.4 启动hadoop

先启动HDFS:

# sbin/start-dfs.sh

再启动YARN

# sbin/start-yarn.sh

4.4 验证是否启动成功

# jps

2871 ResourceManager
3000 Jps
2554 NameNode
2964 NodeManager
2669 DataNode

至此伪分布式 hadoop 搭建完成! 

14.04下Hadoop2.4.1单机/伪分布式安装配置教程  

CentOS安装和配置Hadoop2.2.0  

Ubuntu 13.04上搭建Hadoop环境 

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) 

Ubuntu下Hadoop环境的配置 

单机版搭建Hadoop环境图文教程详解 

更多Hadoop相关信息见 专题页面 

本文永久更新链接地址

阅读(543) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~