Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(2)Hadoop完全分布式(full)

第二阶段: Hadoop完全分布式(full)

0. 步骤概述

1). 克隆4台虚拟机

2). 为完全分布式配置ssh免密

3). 将hadoop配置修改为完全分布式

4). 启动完全分布式集群

5). 在完全分布式集群上测试wordcount程序

1. 克隆4台虚拟机

1.1 使用hadoop0克隆4台虚拟机hadoop1,hadoop2,hadoop3,hadoop4

1.1.0 克隆虚拟机hadoop1

1.1.1 右键点击当前虚拟机hadoop0

1.1.2 在右键菜单选中“管理”

1.1.3 在“管理”的子菜单选中“克隆”

1.1.4 弹出“克隆虚拟机向导”窗口

1.1.5 点击“下一步”进入“克隆源”选择窗口

1.1.6 在“克隆源”中选择“虚拟机当前状态”或者“现有快照(仅限关闭的虚拟机)(S):”

1.1.7 点击下一步进入“克隆类型”窗口

1.1.8 选择“创建完整克隆”，点击下一步

1.1.9 在“新虚拟机名称”窗口，“虚拟机名称(V)”中填入新虚拟机“hadoop1”，“位置(L)”中选择目录

1.1.10 点击“完成”开始克隆

1.2生成新的mac地址

1.2.1 右键点击新建的虚拟机hadoop1

1.1.2在右键菜单选中点击“设置”

1.1.3 在“虚拟机设置”窗口，“硬件”标签下，选中“网络适配器”

1.1.4 在窗口右侧点击“高级”

1.1.5 在“网络适配器高级设置”窗口最下方“MAC 地址(M)”一栏点击“生成”

1.1.6 点击“确定”使设置生效

1.3 修改主机名

1.3.1 启动新虚拟机hadoop1

1.3.2 修改network中的HOSTNAME

1.3.2.1 修改生效前命令提示符中现有的主机名还是hadoop0
[root@hadoop0 ~]# vim /etc/sysconfig/network HOSTNAME=hadoop1

1.3.2.2 修改完成后/etc/sysconfig/network完整内容如下
NETWORKING=yes 
HOSTNAME=hadoop1 
GATEWAY=192.168.111.2 

1.4 修改hadoop1的IP地址

14.1.1 修改hadoop1的IP地址为192.168.111.211
[root@hadoop0 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 IPADDR=192.168.111.211

1.4.2 修改完成后/etc/sysconfig/network-scripts/ifcfg-eth0完整内容如下
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.111.211
NETMASK=255.255.255.0
GATEWAY=192.168.111.2

1.5 删除70-persistent-net.rules文件

[root@hadoop0 ~]# rm -rf /etc/udev/rules.d/70-persistent-net.rules

1.6 重启虚拟机使配置生效

[root@hadoop0 ~]# init 6

1.7 查看主机名:命令提示符中主机名已变成hadoop1

[root@hadoop1 ~]# hostname hadoop1

1.8 测试外网是否畅通

[root@hadoop1 ~]# ping baidu.com 64 bytes from 111.13.101.208: icmp_seq=1 ttl=128 time=5.50 ms
64 bytes from 111.13.101.208: icmp_seq=1 ttl=128 time=5.50 ms #如果返回如上信息表示网络畅通

1.9 克隆另外3台虚拟机

使用同样的方式克隆并配置另外3台虚拟机,分别命名为hadoop2,hadoop3,hadoop4

2. 为完全分布式配置ssh免密

2.1 在hadoop1上修改hosts文件

2.1.1 将/etc/hosts文件内容替换如下
[root@hadoop1 ~]# vim /etc/hosts 192.168.111.211 hadoop1
192.168.111.212 hadoop2
192.168.111.213 hadoop3
192.168.111.214 hadoop4

2.1.2 将hadoop1上的/etc/hosts分发到hadoop2,hadoop3,hadoop4三个节点
[root@hadoop1 ~]# scp /etc/hosts hadoop2:/etc/hosts [root@hadoop1 ~]# scp /etc/hosts hadoop3:/etc/hosts [root@hadoop1 ~]# scp /etc/hosts hadoop4:/etc/hosts

2.2 在hadoop1上生成密匙

[root@hadoop1 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2.3 设置本机ssh免密

[root@hadoop1 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2.4 将hadoop1生成的公匙拷贝到hadoop2

2.4.1 拷贝过程中需要输入hadoop2的密码
[root@hadoop1 ~]# ssh-copy-id -i ~/.ssh/id_dsa.pub hadoop2 root@hadoop2's password:  Now try logging into the machine, with "ssh 'hadoop2'", and check in:
.ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting. 2.4.2 同理，将公匙拷贝hadoop3和hadoop4

2.5 测试从hadoop1通过ssh连接到hadoop2

2.5.1 ssh到hadoop2 [root@hadoop1 ~]# ssh hadoop2 Last login: Mon Nov 27 04:10:16 2017 from 192.168.111.211 2.5.2无需输入密码直接进入hadoop2，说明免密成功 [root@hadoop2 ~]

2.6 退出hadoop2连接，回到hadoop1

2.6.1 使用exit命令退出
[root@hadoop2 ~]# exit logout
Connection to hadoop2 closed. 2.6.2 命令提示符显示已经回到hadoop1
[root@hadoop1 ~]# 

3. 将hadoop配置修改为完全分布式

3.0 进入$HADOOP_HOME/etc/hadoop目录

[root@hadoop1 ~]# cd /opt/test/hadoop-2.6.5/etc/hadoop

3.1 修改core-site.xml配置

# 将$HADOOP_HOME/etc/hadoop/core-site.xml内容替换如下
[root@hadoop1 hadoop]# vim core-site.xml <configuration>  <property> <name>fs.defaultFSname> <value>hdfs://hadoop1:9000value> property>  <property> <name>hadoop.tmp.dirname> <value>/var/test/hadoop/fullvalue> property> configuration>

3.2 修改hdfs-site.xml配置

# 将$HADOOP_HOME/etc/hadoop/hdfs-site.xml内容替换如下
[root@hadoop1 hadoop]# vim hdfs-site.xml <configuration>  <property> <name>dfs.replicationname> <value>3value> property>  <property> <name>dfs.namenode.secondary.http-addressname> <value>hadoop2:50090value> property> <property> <name>dfs.namenode.name.dirname> <value>file://${hadoop.tmp.dir}/dfs/namevalue> property> <property> <name>dfs.namenode.data.dirname> <value>file://${hadoop.tmp.dir}/dfs/datavalue> property> <property> <name>dfs.permissions.enabledname> <value>falsevalue> property> configuration>

3.3 修改yarn-site.xml

# 将$HADOOP_HOME/etc/hadoop/yarn-site.xml内容替换如下
[root@hadoop1 hadoop]# vim yarn-site.xml <configuration>  <property> <name>yarn.resourcemanager.hostnamename> <value>hadoop1value> property> <property> <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property>  <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.classname> <value>org.apache.hadoop.mapred.ShuffleHandlervalue> property> configuration>

3.4 配置salves文件

# 将$HADOOP_HOME/etc/hadoop/slaves内容替换如下 [root@hadoop1 hadoop]# vim slaves hadoop2
hadoop3
hadoop4

3.5 分发hadoop配置到所有节点

[root@hadoop1 hadoop]# scp core-site.xml hdfs-site.xml yarn-site.xml slaves hadoop2:`pwd` [root@hadoop1 hadoop]# scp core-site.xml hdfs-site.xml yarn-site.xml slaves hadoop3:`pwd` [root@hadoop1 hadoop]# scp core-site.xml hdfs-site.xml yarn-site.xml slaves hadoop4:`pwd`

3.6 分发hosts文件到所有节点

[root@hadoop1 hadoop]# scp /etc/hosts hadoop2:/etc/ [root@hadoop1 hadoop]# scp /etc/hosts hadoop3:/etc/ [root@hadoop1 hadoop]# scp /etc/hosts hadoop4:/etc/

4. 启动完全分布式集群

4.1 在hadoop1上重新格式化namenode

[root@hadoop1 ~]# hdfs namenode -format

4.2 在hadoop1上启动集群

[root@hadoop1 ~]# start-dfs.sh

4.3 在hadoop1上启动yarn

[root@hadoop1 ~]# start-yarn.sh

4.4 在各节点上查看进程

4.4.1 节点hadoop1
[root@hadoop1 ~]# jps 1466 NameNode 1756 ResourceManager 2014 Jps 4.4.2 节点hadoop2
[root@hadoop2 ~]# jps 1663 Jps 1546 NodeManager 1397 DataNode 1454 SecondaryNameNode 4.4.3 节点hadoop3
[root@hadoop3 ~]# jps 1599 Jps 1457 NodeManager 1399 DataNode 4.4.4 节点hadoop4
[root@hadoop4 ~]# jps 1411 DataNode 1475 NodeManager 1613 Jps

5. 在完全分布式集群上测试wordcount程序

5.1 从hadoop1进入$HADOOP_HOME/share/hadoop/mapreduce/目录

[root@hadoop1 ~]# cd /opt/test/hadoop-2.6.5/share/hadoop/mapreduce/

5.2上传test.txt文件到根目录

5.2.1 默认上传
[root@hadoop1 mapreduce]# hadoop fs -put test.txt / 5.2.2 也可以指定blocksize上传
[root@hadoop1 mapreduce]# hdfs dfs -D dfs.blocksize=1048576 -put test.txt /

5.3 运行wordcount测试程序，输出到/output

[root@hadoop1 mapreduce]# 
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /test.txt /output
#运行时会首先看到如下信息
INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032

5.4 查看mapreduce运行结果

[root@hadoop1 mapreduce]# hadoop dfs -text /output/part-*
hello 100003 world 200002 “hello 100000