storm集群安装

现有10.14.2.201，10.14.2.202，10.14.2.203，10.14.2.204四台机器
主机名分别为master.hadoop，slave1.hadoop，slave2.hadoop，slave3.hadoop

在所有的机器上执行
1、安装jdk

配置环境变量
vim /etc/profile

# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_32
export JRE_HOME=/usr/java/jdk1.6.0_32/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

安装zookeeper 集群
2、解压zookeeper安装包
tar -xvf zookeeper-3.4.5.tar.gz -C /export/
cd /export/
ln -s zookeeper-3.4.5 zookeeper

3、配置zookeeper配置文件
vim /export/zookeeper/conf/zoo.cfg 

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/export/zookeeper/data
clientPort=2181
server.1=master.hadoop:2888:3888
server.2=slave1.hadoop:2888:3888
server.3=slave2.hadoop:2888:3888
server.4=slave3.hadoop:2888:3888

4、创建zookeepr数据目录
mkdir -p /export/zookeeper/data

5、配置myid
   在10.14.2.201上执行
 echo 1 > /export/zookeeper/data/myid
   在10.14.2.202上执行
 echo 2 > /export/zookeeper/data/myid
   在10.14.2.203上执行
 echo 3 > /export/zookeeper/data/myid
   在10.14.2.204上执行
 echo 4 > /export/zookeeper/data/myid

6、设置zookeeper环境变量
vim /etc/profile

export ZOOKEEPER_HOME=/export/zookeeper
export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

7、启动zookeeper
/export/zookeeper/bin/zkServer.sh start

8、检查zookeeper状态
/export/zookeeper/bin/zkServer.sh status

安装storm集群

在所有的机器上执行

9、安装storm前环境准备
   1)yum install -y gcc gcc-c++.x86_64 uuid-devel.x86_64 libuuid-devel.x86_64
   2)安装zeromq
     wget
     tar xvf zeromq-2.1.7.tar.gz
     cd zeromq-2.1.7
     ./configure
     make
     make install
   3、 安装jzmq
     下载 jzmq-master.zip
      unzip jzmq-master.zip
      cd jzmq-master 
       ./autogen.sh
       ./configure 
make
make install

10、安装storm 
 mv storm-0.9.0-rc3.zip /export/
 cd /export/
 unzip storm-0.9.0-rc3.zip
 ln -s storm-0.9.0-rc3 storm
 
 11、设置storm环境变量
vim /etc/profile
 
export STORM_HOME=/export/storm
export PATH=$STORM_HOME/bin:$PATH
 
 12、配置storm
 
storm.zookeeper.servers:
     - "master.hadoop"
     - "slave1.hadoop"
     - "slave2.hadoop"
     - "slave3.hadoop"
nimbus.host: "master.hadoop"
storm.local.dir: "/export/storm/workdir"
java.library.path: "/usr/local/lib:/usr/lib"
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
       
13、启动storm 

 在10.14.2.201上执行
/export/storm/bin/storm nimbus &
/export/storm/bin/storm ui &
   在10.14.2.202上执行
/export/storm/bin/storm supervisor &
   在10.14.2.203上执行
/export/storm/bin/storm supervisor &
   在10.14.2.204上执行
/export/storm/bin/storm supervisor &

14、jps查看   jps
   在10.14.2.201上输出结果
   22625 QuorumPeerMain
   27824 nimbus
   27939 core
   28152 Jps
 
 在10.14.2.202上输出结果
   27677 Jps
   23339 QuorumPeerMain
   26989 supervisor
 
  在10.14.2.203上输出结果
    8008 Jps
   5690 QuorumPeerMain
   7626 supervisor
  
    在10.14.2.204上输出结果
    13855 supervisor
    7320 QuorumPeerMain
    15224 Jps
    
 15、查看日志无错误输出
 
 16、  访问页面