Hadoop在Windows环境下的部署

安装JDK

1.下载JDK

      

2.解压

   或者直接运行.exe安装

后面根据项目的实际需要来进行调整。

安装 Cygwin

1.下载Cygwin

    网址： 

 2.安装Cygwin

1. Net Category 下的OpenSSL, Openssh

2.    Base Category 下的sed

3.Editors Category 下的vim

4.Devel Category  下subversion

后面根据项目的实际需要来进行调整。

配置环境变量

1.配置JAVA 环境变量

    PATH 和JAVA_HOME,CLASSPATH：

        JAVA_HOME 指向JDK安装目录；

        PATH 指向JDK的bin
        CLASSPATH:  .;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar;

 

启动 SSHD 服务

1.安装SSHD

   ssh-host-config

2. 启动SSHD

    net start sshd 

ssh 的安装和配置

实现ssh无密码登陆

$ssh-keygen -t rsa  

直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对

出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys 
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

 

安装 Hadoop

1.下载Hadoop

  
   下载可下载1.2.X版本的,不一定需要下载0.2x,后面会发现有些库的引用不全.

2.解压Hadoop

         tar xzvf hadoop-0.21.0.tar.gz

配置 Hadoop

1. 配置hadoop-env.sh

2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

概念

HDFS:

      NameNode  ：管理节点

      DataNode   ：数据节点

      SecondaryNamenode : 数据源信息备份整理节点

 

MapReduce

       JobTracker  ：任务管理节点

       Tasktracker  ：任务运行节点

 

配置文件

       core-site.xml   common属性配置

       hdfs-site.xml    HDFS属性配置

       mapred-site.xml  MapReduce属性配置

       hadoop-env.sh     hadooop 环境变量配置

修改 hadoop-env.sh

配置JDK即可

export JAVA_HOME=/cygdrive/d/tools/jdk    此处注意修改为你的机器上的安装目录

core-site.xml

       fs.default.name
       hdfs://localhost:9000


       hadoop.tmp.dir
        /hadoop

hdfs-site.xml

         dfs.replication
         1

mapred-site.xml

         mapred.job.tracker
         localhost:9001

启动 Hadoop

 1.格式化文件系统

      hadoop namenode –format

 2. 启动hadoop

      启动所有任务start-all.sh/stop-all.sh

      启动关闭HDFS: start-dfs.sh/stop-dfs.sh

      启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh      

 3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
     此处我的机器上没有那么多进程,不知道是不是没有显示

Hadoop 重要的端口

1.Job Tracker 管理界面：50030

2.HDFS 管理界面 ：50070

3.HDFS通信端口：9000

4.MapReduce通信端口：9001

常用访问页面

1. HDFS 界面

       

2. MapReduce 管理界面

       

安装差不多就这么多了.
参考文章: http://sishuok.com/forum/blogPost/list/5337.html