spark和zeppelin实践一：安装hadoop篇

一、安装JDK

1.7 JDK下载地址：

下载后安装

[plain] view plain copy 

1. rpm -ivh jdk-8u112-linux-x64.rpm  

设置JDK环境变量

[plain] view plain copy 

1. export JAVA_HOME=/usr/java/jdk1.8.0_112  

2. export CLASSPATH=$JAVA_HOME/lib/tools.jar    

3. export PATH=$JAVA_HOME/bin:$PATH    

二、安装

1、DNS绑定

vi /etc/hosts,增加一行内容，如下（这里我的Master节点IP设置的为192.168.80.100）：

[plain] view plain copy 

1. 192.168.80.100 IMM-SJJ01-Server18  

2、SSH的免密码登录

[plain] view plain copy 

1. cd /home/data/.ssh  

2. ssh-keygen -t rsa  

3. cat id_rsa.pub >> authorized_keys  

3、安装Hadoop

[plain] view plain copy 

1. #

2. wget 

3.   

4. cd /home/game/soft  

5. tar zxvf hadoop-2.7.3.tar.gz  

6. ln -s /home/game/soft/hadoop-2.7.3 /home/game/soft/hadoop  

#4、配置

1) 设置Hadoop环境变量

[plain] view plain copy 

1. vim ~/.bash_profile 或 /etc/profile  

2. export HADOOP_HOME=/home/game/soft/hadoop  

3. export PATH=$HADOOP_HOME/bin:$PATH  

4.   

5. echo $HADOOP_HOME 

6.  

2)修改hadoop-env.sh

[plain] view plain copy 

1. vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh  

2. export JAVA_HOME=${JAVA_HOME} 改为  

3. export JAVA_HOME=/usr/java/jdk1.8.0_112  

3)修改/etc/hosts

4)修改core-site.xml

[plain] view plain copy 

1. cd $HADOOP_HOME  

2. cp ./share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml ./etc/hadoop/core-site.xml  

3. cp ./share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml ./etc/hadoop/hdfs-site.xml  

4. cp ./share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml ./etc/hadoop/yarn-site.xml  

5. cp ./share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml ./etc/hadoop/mapred-site.xml  

6.   

7.   

8. vim $HADOOP_HOME/etc/hadoop/core-site.xml  

9.   

10.   fs.default.name  

11.   hdfs://192.168.80.100:19000  

12.   

13.   

14.   hadoop.tmp.dir  

15.   /home/game/hadoop/tmp  

16.   

5)修改配置hdfs-site.xml

[plain] view plain copy 

1.   

2.   dfs.namenode.rpc-address  

3.   192.168.80.100:19001  

4.   

5.   

6.   

7.   dfs.namenode.http-address  

8.   0.0.0.0:10070  

9.   

6)修改mapred-site.xml

[plain] view plain copy 

1. cp mapred-site.xml.template mapred-site.xml  

2.   

3.   mapreduce.framework.name  

4.   yarn  

5.   

7)修改yarn-site.xml

[plain] view plain copy 

1.   

2.   The http address of the RM web application.  

3.   yarn.resourcemanager.webapp.address  

4.   ${yarn.resourcemanager.hostname}:18088  

5.   

5、启动

1)格式化NameNode

cd $HADOOP_HOME/bin
./hdfs namenode -format

#2)启动hdfs
/home/game/soft/hadoop/sbin/start-dfs.sh

jps查看是否启动成功

16704 DataNode
16545 NameNode
16925 SecondaryNameNode

hdfs dfs -ls hdfs://192.168.80.100:19001/


#3) 启动yarn
/home/game/hadoop-2.7.3/sbin/start-yarn.sh

[game@IM-SJ01-Server18 sbin]$ jps

17427 NodeManager
19668 ResourceManager


yarn node -list

yarn node -status


#4)页面显示
192.168.80.100:10070

192.168.80.100:18088


#6、上传测试
hadoop fs -mkdir -p hdfs://192.168.80.100:19001/test/
hadoop fs -copyFromLocal ./test.txt hdfs://192.168.80.100:19001/test/
hadoop fs -ls hdfs://192.168.80.100:19001/


hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/tmp/tvbox/