[原创]hadoop应用之安装篇

hadoop应用之安装篇

hadoop 分布式文件系统安装——For FreeBSD7 （初稿20080228_Rhinux)
感谢：首先感谢我的女朋友在我加班测试系统的时候，是她在自己下班后依然做好饭在家里等我回去一起吃。感谢目前效力的公司提供给我环境测试。
零，声明：本文档为原创作品可以用在非商业用途的引用，引用时请注明著者，并保持文章的完整非修改性，如对内容有异议请联系我：rhinux#sina.com。

一，概述
     是否磁盘不够大，虽然有15k的sas是否仍然感觉磁盘效率不够快，是否担心由于硬件局限数据不够安全，是否觉得商业化的存储方案价格太高。
     现在为你介绍apache基金会推出的一款分布式文件系统，一款yahoo鼎力支持的文件系统。一个可以运行几千个节点的分布式文件系统。相信他就是你要的。

  1安装软件版本
    freebsd: 7 rc3[新装系统请采用freebsd7 正式发行版]
    hadoop:0.16.0
    jdk: 1.5.0
    OpenSSH: 4.5p1
    rsync: 2.6.9
  2，服务器硬件环境 2台 x86 计算机（作为安装测试1-2台机器已经足够，如果作为性能测试考虑设备的硬件性能）
  3,hadoop描述
    Hadoop包括HDFS(Hadoop Distributed File System--Hadoop分布式文件系统)和MapReduce一种集约编程模型
    以HDFS视角来看节点分为Namenode和Datanode，其中Namenode是唯一的，Datanode可以是多个，Namenode可以兼Datanode；
    以MapReduce视角来看又分为Jobtracker和Tasktracker，其中Jobtracker只有一个，Tasktracker可以是多个同样Jobtracker可以兼Tasktracker。更多请参考官网介绍
    本测试中namenode和jobtracker部署在freebsd7test1.rhinux.com上，datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com
   
二，os及环境配置
1，安装jdk1.5
     #cd /usr/ports/java/jdk15
     # make install clean
     按照要求和提示下载好对应的包，如果找不到旧版本的依赖包请现updata ports 后再下载最新安装包
     # portsnap fetch update
     # portsnap extract
2，安装rsync，bash，ssh
    a, #cd /usr/ports/net/rsync
       #make install clean
    b, #cd /usr/ports/shells/bash   //一般Linux默认已经安装好bash所以可以省略这一步
       #make install clean
    c, freebsd7 默认OpenSSH_4.5p1  
3，系统配置
   a, 本次配置使用2台服务器分别为

   freebsd7test1.rhinux.com 172.16.27.81  (用在namenode由于本次测试只有2台机器所以兼datanode，但实际生产环境中不推荐兼datanode)
   freebsd7test2.rhinux.com 172.16.27.82  (用在datanode)

   b,配置服务器的hosts文件使namenode能够通过域名(freebsd7test2和freebsd7test2.rhinux.com）访问到所有的datanode（如果namenode兼datanode也需要通过域名访问到自己），
   所有的datanode也能通过域名访问到namenode

   c，示例
==========================/etc/hosts===========================================
      ::1                     localhost localhost.rhinux.com
127.0.0.1               localhost localhost.rhinux.com
172.16.27.82            freebsd7test2.rhinux.com freebsd7test2
172.16.27.81            freebsd7test1.rhinux.com freebsd7test1
======================172.16.27.82（namenode & datanode）=======================

4，OS配置按原标准安装，测试阶段 /services目录分区文件系统使用ZFS  （文件系统请选择自己喜欢的目前测试下来Freebsd7的ZFS并不稳定）

三，安装测试hadoop系统

1添加用户（所有namenode和datanode需要使用相同的用户名,所有的信息传输需要用户认证）
freebsd7test1# adduser
Username: rhinuxdoop
Full name:
Uid (Leave empty for default):
Login group [rhinuxdoop]:
Login group is rhinuxdoop. Invite rhinuxdoop into other groups? []:
Login class [default]:
Shell (sh csh tcsh bash rbash nologin) [sh]: bash   //注意最好使用bash,其实程序运行的时候会自动指定shell环境
Home directory [/home/rhinuxdoop]: /services/rhinuxdoop

客户端必须是和服务端同样的用户名
2，hadoop需要使用rsync+ssh同步状态和数据，需要无需输入密码就可访问,所以设置用密钥认证
  a, 生产密钥对（用添加的用户操作本例用户为rhinuxdoop）
     [rhinuxdoop@freebsd7test1 ~]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
     默认在~/.ssh/下
  b, 在本机用户中添加
     [rhinuxdoop@freebsd7test1 ~]$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  c, 添加到其他datanode
    将namenode rhinuxdoop用户目录下.ssh/id_rsa.pub文件内容导入其他datanode
    [rhinuxdoop@freebsd7test2 ~]$cat id_dsa.pub >> ~/.ssh/authorized_keys
  d，测试：用rhinuxdoop在namenode上登陆 让后ssh到所有的datanode（本例中包括自己机器）
     应该无需密码就可以登陆
    
3， 下载hddoop
  a,去下载最新版本 hadoop目前为0.16.0 版
  b,解压hadoop-0.16.0.tar.gz  到用户目录 /services/rhinuxdoop/
     [rhinuxdoop@freebsd7test1 ~]$ tar zxvf   hadoop-0.16.0.tar.gz  .
    
4, hadoop-0.16.0目录结构说明：
   a, bin 存放脚本程序，
   比如主控制程序hadoop,
   启动脚本 start-all.sh--启动所有hadoop进程  start-dfs.sh--启动DFS进程  start-mapred.sh启动MAP/Reduce进程
   停止脚本 stop-all.sh  stop-dfs.sh  stop-mapred.sh
   b，conf 配置文件目录，
   环境配置文件 hadoop-env.sh 可以配置环境变量，比如JAVA_HOME已经系统默认等。
   默认配置文件 hadoop-default.xml 此文件不能修改需要设置参数请修改 hadoop-site.xml
   自定义配置文件  hadoop-site.xml 此文件可以自定义配置，出现在该文件中的配置项，系统将自动取代默认配置文件 hadoop-default.xml中的配置项
   namenode指定文件 masters 此文件来指定master(namenode)机器名
   datanode指定文件 slaves 此文件来指定slave(datanode)机器列表，每台机器名占一行
   c，log 目录
   默认日志存放目录
   d，各配置文件具体参数说明和研究下一个版本中给出。
  
 5，hadoop配置(freebsd7test1)：
   
    a,建立namenode存储目录及数据目录
    [rhinuxdoop@freebsd7test1 ~]$mkdir -p /services/rhinuxdoop/hadoop-0.16.0/filesystem/name
    [rhinuxdoop@freebsd7test1 ~]$mkdir -p /services/rhinuxdoop/hadoop-0.16.0/filesystem/data
   
    b,配置环境变量，编辑./conf/hadoop-env.sh
   ===============hadoop-env.sh====================
   export JAVA_HOME=/usr/local/jdk1.5.0
   #至少要设置JAVA_HOME，另外也可以设置HADOOP_HOME-系统目录,HADOOP_HOME默认为bin目录的父目录
   =================================================
  
   c，配置hadoop-site.xml(关于可配置项已经各配置项的说明可以参考hadoop-default.xml)
 
   配置项格式为
 
  io.file.buffer.size
  4096
  The size of buffer for use in sequence files.
  The size of this buffer should probably be a multiple of hardware
  page size (4096 on Intel x86), and it determines how much data is
  buffered during read and write operations.
 
 
 
  配置项名字
  配置项的值
  配置项的说明此文字只是帮助人理解用.
 
 
   ==================hadoop-site.xml=====================

fs.default.name
freebsd7test1:9000

 

mapred.job.tracker
freebsd7test1:9001

dfs.name.dir
/services/rhinuxdoop/hadoop-0.16.0/filesystem/name

dfs.data.dir
/services/rhinuxdoop/hadoop-0.16.0/filesystem/data

===============================================================  
  
    d,配置编辑conf/masters ,conf/slaves
    ====================conf/masters==========================
    freebsd7test1
    ==========================================================

    ====================conf/slaves===========================
    freebsd7test1
    freebsd7test2
    ==========================================================
  
    e,格式化namenode
    [rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop namenode -format
    无报错既可
    基本配置已完成
   
   
 6，hadoop配置(freebsd7test2及其他datanode)
   
    a，其他datanode必须保持namenode相同的目录结构所以把namenode目录复制过去
    [rhinuxdoop@freebsd7test1 ~]$ scp -r hadoop-0.16.0 172.16.27.82:/services/rhinuxdoop/
 
 7，启动hadoop
    [rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/start-all.sh
    此时会告知日志记录的目录和文件名，日志记录基本可以在hadoop-site.xml中设定默认在hadoop-default.xml中设置为info
 
 8,查看和测试。
   
    a,系统开启9000和9001端口分别为dfs的namenode和mapreduce的jobtracke监听口。
   
    b,查看datanode状态： [rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop dfsadmin -report
      可以看到各点的状态
  
    c,存放文件：[rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop fs -put /home/xuyunfeng/tzupdater-1.3.3-2007k.zip tzupdater-1.3.3-2007k.zip
      将在本地系统目录的/home/xuyunfeng/tzupdater-1.3.3-2007k.zip存入hadoop文件系统根目录中。
   
    d,查看hadoop文件系统目录  [rhinuxdoop@freebsd7test1 ~]$ hadoop-0.16.0/bin/hadoop fs -ls
    /user/rhinuxdoop/diablo-caffe-freebsd6-i386-1.5.0_07-b01.tar.bz2     54347274 2008-02-28 10:57 rw-r--r--   rhinuxdoop  supergroup
    /user/rhinuxdoop/tzupdater-1.3.3-2007k.zip                            263715   2008-02-28 16:16 rw-r--r--   rhinuxdoop  supergroup
   
    e,更多hadoop文件系统 命令操作请参考手册
   
    f，api调用测试后续
   
    g,可以通过web形式去浏览 NameNode和 JobTracker，默认端口为：
    * NameNode -
    * JobTracker -
    *需要在浏览的机器上配置好hosts。
   
四，操作系统优化和hadoop优化。
    以上的配置受硬件条件影响效率相对比较低，等之后关于性能测试和优化方面的文章时我会给出测试的硬件环境和推荐配置。
    待补中
五，参考资料
 
 
陆，继续声明：本文档为原创作品可以用在非商业用途的引用，引用时请注明著者，并保持文章的完整非修改性，如对内容有异议请联系我：rhinux#sina.com。