hadoop客户端部署

本文档是以{user}=用户名，如autolog 。如果是其他账号替换成给定账号。

1. 首先需要在客户端服务器上建立一个账号{user},通过这个账号来运行map/reduce 程序和查看hadoop hdfs 上的内容。

1. Hadoop hdfs 可用的目录是/user/{user} 目录

1. 安装jdk 到/opt/java目录，java 环境变量如下：（根据实际情况配置）

   export JAVA_HOME=/opt/java/jdk
   

2. 安装包：sohuhadoop-cdh3u1-client.tgz (目前最新)把这个包拷贝到客户端服务器的/opt目录下解析，解压后改名为 sohuhadoop

   mv /opt/sohuhadoop.2.client /opt/sohuhadoop
   

把sohuhadoop owerner改成：

chown –R {user}:{user} sohuhadoop

1. 修改一下环境变量 /etc/profile 增加如下内容：

   export JAVA_HOME=/opt/java/jdk \\
   export HADOOP_CONF_DIR=/opt/sohuhadoop/conf \\
   export HADOOP_HOME=/opt/sohuhadoop/hadoop \\
   export HIVE_HOME=/opt/sohuhadoop/hive \\
   export CLASSPATH=.:$JAVA_HOME/lib/tools.jar \\
   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin \\ 
   export JAVA_LIBRARY_PATH=/opt/sohuhadoop/hadoop/lib/native/Linux-amd64-64 \\
   

1. 配置kdc服务器，修改/etc/krb5.conf 内容如下：

   [libdefaults]
    default_realm = HADOOP.SOHU.COM
    dns_lookup_kdc = false
    dns_lookup_realm = false
    clockskew = 120
    renewable = true
   [realms]
    HADOOP.SOHU.COM = {
     kdc = zw-hadoop-master:88
     admin_server = zw-hadoop-master:749
    }
   
   [domain_realm]
   
   [appdefaults]
    pam = {
      debug = false
      ticket_lifetime = 36000
      renew_lifetime = 360000
      forwardable = true
      krb4_convert = false
      renewable = true
      
    }
    kinit = {
      ticket_lifetime = 36000
      renew_lifetime = 360000
      forwardable = true
    }
   

2. 在/etc/hosts 指定 zw-hadoop-master 地址

   xxx.xxx.xxx.xxx  zw-hadoop-master.  zw-hadoop-master
   

3. 建立临时文件

   mkdir –p   /pvdata/hadoopdata/tmp/hadoop-{user}
   chown –R {user}:{user}   pvdata/hadoopdata/tmp/hadoop-{user}
   

1. 将key文件放到/home/{user}用户目录下key 文件名为: {user}.keytab owner设置成{user}
2. su – {user} 在crontab添加定期生成ticket命令

   9 */12 * * * /usr/kerberos/bin/kinit {user} -k -t /home/{user}/{user}.keytab
   

第一次需要手工执行

/usr/kerberos/bin/kinit {user} -k -t /home/{user}/{user}.keytab

通过klist –e 来看ticket

1. 测试

查看自己可以目录

hadoop fs  -ls /user/{user}

往可以用目录上传文件，文件名位test

hadoop fs –put test /user/{user}/

运行一下map/reduce 测试

cd  /opt/sohuhadoop/hadoop
bin/hadoop jar hadoop-examples-0.20.2-cdh3u1.jar wordcount aaaa /user/{user}/output

注意：需要客户端的时钟是标准时间