Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4528085
  • 博文数量: 291
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 7924
  • 用 户 组: 普通用户
  • 注册时间: 2016-07-06 14:28
个人简介

阿里巴巴是个快乐的青年

文章分类

全部博文(291)

文章存档

2018年(21)

2017年(4)

2016年(5)

2015年(17)

2014年(68)

2013年(174)

2012年(2)

分类: HADOOP

2013-11-17 16:56:31

一、安装
1、JDK
        点击这里下载JDK,执行如下指令安装JDK:
        #rpm -ivh jdk-x.y.z.rpm
        设置JDK环境变量:
        #vi /etc/profile
        在最后面加入:
        #set java environment
        JAVA_HOME=/usr/java/jdk-x.y.z
        CLASSPATH=.:$JAVA_HOME/lib/tools.jar
        PATH=$JAVA_HOME/bin:$PATH
        export JAVA_HOME CLASSPATH PATH
        执行如下命令检查环境变量设置情况:
        #source /etc/profile
        #echo $JAVA_HOME
        #echo $CLASSPATH
        #echo $PATH
        执行如下命令检查JDK是否安装成功:
        #java -version 
2、Hadoop
        点击这里下载Apache Hadoop的稳定发布包,再解压到本地文件系统中:
        #tar xzf hadoop-x.y.z.tar.gz
        在安装Hadoop之前,需要指定Java在本系统中的路径,即JAVA_HOME环境变量指向一个Java安装:
        #echo $JAVA_HOME
        当然这在前面就已经设置过了。
        Hadoop套用Windows上说法就是纯绿色版,解压就算安装了。
        创建一个指向Hadoop安装目录环境变量(比如HADOOP_INSTALL),再把Hadoop安装目录(即解压目录)放在命令行路径上:
        #vi /etc/profile
        #set hadoop environment
        HADOOP_INSTALL=/home/scq/hadoop-x.y.z
        PATH=$PATH:$HADOOP_INSTALL/bin
        export HADOOP_INSTALL PATH
        #source /etc/profile
        可以执行如下命令来验证Hadoop是否运行:
        #hadoop version
        需要注意的是,为了避免不必要的麻烦,请在安装Hadoop前一定要确认是否已经安装并设置好了JDK。

二、配置
1、配置文件
        Hadoop的各个组件均可利用XML文件进行配置,其中,core-site.xml文件用于配置Common组件的属性,hdfs-site.xml文件用于配置HDFS属性,而mapred-site.xml文件则用于配置MapReduce属性,这些配置文件都放在etc子目录中。
        此外,在docs子目录中还存放三个HTML文件,即core-default.html、hdfs-default.html和mapred-default.html,它们分别保存各组件的默认属性设置。
2、伪分布模式
        Hadoop有三种运行模式,这里以伪分布式模式为例,如下来配置伪分布模式:
        (1)core-site.xml
       
       
       
           
                fs.default.name
                hdfs://localhost/
           

       

        (2)hdfs-site.xml
       
       
       
           
                dfs.replication
                1
           

       

        (3)mapred-site.xml
        "?>
       
阅读(3510) | 评论(1) | 转发(2) |
给主人留下些什么吧!~~

scq2099yt2013-11-17 16:56:47

文明上网,理性发言...