Hadoop初探之安装Apache Hadoop

一、安装
1、JDK
        点击下载JDK，执行如下指令安装JDK：
        #rpm -ivh jdk-x.y.z.rpm
        设置JDK环境变量：
        #vi /etc/profile
        在最后面加入：
        #set java environment
        JAVA_HOME=/usr/java/jdk-x.y.z
        CLASSPATH=.:$JAVA_HOME/lib/tools.jar
        PATH=$JAVA_HOME/bin:$PATH
        export JAVA_HOME CLASSPATH PATH
        执行如下命令检查环境变量设置情况：
        #source /etc/profile
        #echo $JAVA_HOME
        #echo $CLASSPATH
        #echo $PATH
        执行如下命令检查JDK是否安装成功：
        #java -version 
2、Hadoop
        点击下载Apache Hadoop的稳定发布包，再解压到本地文件系统中：
        #tar xzf hadoop-x.y.z.tar.gz
        在安装Hadoop之前，需要指定Java在本系统中的路径，即JAVA_HOME环境变量指向一个Java安装：
        #echo $JAVA_HOME
        当然这在前面就已经设置过了。
        Hadoop套用Windows上说法就是纯绿色版，解压就算安装了。
        创建一个指向Hadoop安装目录环境变量（比如HADOOP_INSTALL），再把Hadoop安装目录（即解压目录）放在命令行路径上：
        #vi /etc/profile
        #set hadoop environment
        HADOOP_INSTALL=/home/scq/hadoop-x.y.z
        PATH=$PATH:$HADOOP_INSTALL/bin
        export HADOOP_INSTALL PATH
        #source /etc/profile
        可以执行如下命令来验证Hadoop是否运行：
        #hadoop version
        需要注意的是，为了避免不必要的麻烦，请在安装Hadoop前一定要确认是否已经安装并设置好了JDK。

二、配置
1、配置文件
        Hadoop的各个组件均可利用XML文件进行配置，其中，core-site.xml文件用于配置Common组件的属性，hdfs-site.xml文件用于配置HDFS属性，而mapred-site.xml文件则用于配置MapReduce属性，这些配置文件都放在etc子目录中。
        此外，在docs子目录中还存放三个HTML文件，即core-default.html、hdfs-default.html和mapred-default.html，它们分别保存各组件的默认属性设置。
2、伪分布模式
        Hadoop有三种运行模式，这里以伪分布式模式为例，如下来配置伪分布模式：
        （1）core-site.xml
       
       
       
           
                fs.default.name
                hdfs://localhost/
           
       
        （2）hdfs-site.xml
       
       
       
           
                dfs.replication
                1
           
       
        （3）mapred-site.xml
        "?>
       

阅读(5900) | 评论(1) | 转发(2) |

1

上一篇：Hadoop初探之Hadoop运行模式

下一篇：Android之开发环境搭建