Linux上hadoop，hive安装

现在各个节点做SSH互信认证并同步时间。都可以无密码ssh操作后进行以下工作。


解压hadoop
修改conf/hadoop-env.sh
    export JAVA_HOME=/usr/local/jre
    
复制src/core/core-default.xml到conf/core-site.xml
    hadoop.tmp.dir = /root/hadoop-0.20.2/data
    fs.default.name = hdfs://hadoop160:54310
修改masters和slaves文件加入主节点和从节点主机

复制src/hdfs/hdfs-default.xml到conf/hdfs-site.xml
    dfs.replication = 3
    dfs.datanode.max.xcievers=4096
    dfs.datanode.handler.count=30



复制src/mapred/mapred-default.xml 到conf/mapred-site.xml
      mapred.job.tracker = hadoop160:54311

先格式化，在master节点上执行：
    ./hadoop namenode -format
    ./start-all.sh
    
    

解压Zookeeper
    拷贝zoo_sample.cfg为zoo.cfg
    dataDir=/root/zookeeper-3.3.1/data
    在data目录中建立myid文件内容为1（主机编号）
    server.1=hadoop160:2888:3888
    server.2=hadoop161:2888:3888
    server.3=hadoop162:2888:3888
    每个机器启动zkServer start｀

解压HBASE

复制hbase-default.xml到conf/hbase-site.xml
    hbase.rootdir = hdfs://hadoop160:54310/hbase
    hbase.zookeeper.quorum=hadoop160,hadoop161,hadoop162
    hbase.cluster.distributed=true
    hbase.regionserver.handler.count=250
修改hbase-env.sh
    export JAVA_HOME=/root/jdk1.6.0_20
    hbase-env.sh  HBASE_MANAGES_ZK=false(true使用内置Zookeeper)
    export HBASE_CLASSPATH=/home/hdfs/hadoop-0.20.1/conf
    hdfs-site.xml拷贝至hbase的conf/目录下。
    将ZooKeeper的配置文件zoo.cfg添加到HBase的CLASSPATH中。


regionservers中加入从节点名称
    hadoop160
    hadoop161
    hadoop162






解压hive
    设置HADOOP_HOME=/root/hadoop-0.20.2
    ./bin/hive


优化：
修改conf/hadoop-env.sh
    export HADOOP_HEAPSIZE=3000
修改conf/mapred-site.xml
    io.sort.factor=50
    io.sort.mb=400
    mapred.job.tracker.handler.count=15
    mapred.map.tasks=4
    mapred.reduce.tasks=4
    mapred.child.java.opts=-Xmx1000m