Chinaunix首页 | 论坛 | 博客
  • 博客访问: 5442995
  • 博文数量: 348
  • 博客积分: 2173
  • 博客等级: 上尉
  • 技术积分: 7900
  • 用 户 组: 普通用户
  • 注册时间: 2011-08-24 17:26
个人简介

雄关漫道真如铁,而今迈步从头越。

文章存档

2022年(4)

2020年(6)

2019年(2)

2018年(2)

2017年(34)

2016年(49)

2015年(53)

2014年(47)

2013年(72)

2012年(79)

分类: HADOOP

2015-04-11 23:11:53

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。其是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。
我们知道再使用Hadoop的另一个组件NoSQL数据库Hbase时需要ZooKeeper作为协调,所以在本文中我们需要先安装ZooKeeper.OK话不多说,下面那么我们就来看一下如何一步一步的按装、配置zookeeper~
1、下载并解压最新版本的zookeeper
tar -zxvf zookeeper-3.4.6.tar.gz
2、将zookeeper迁移到/usr/local目录下
mv zookeeper-3.4.6 /usr/local/zookeeper
chown -R hadoop:hadoop zookeeper
3、配置zoo.cfg
tickTime=2000     
initLimit=5     
syncLimit=2     
dataDir=/home/hadoop/zoodata     
dataLogDir=/home/hadoop/zoologs     
clientPort=4180  
server.1=hbase01:2888:3888  
server.2=hbase02:2888:3888     
server.3=hbase03:2888:3888  
4、创建dataDir参数指定的目并在目录下创建文件,命名为“myid”,在对应的IP的机器上输入对应的编号。
mkdir -p /home/hadoop/zoodata
mkdir -p /home/hadoop/zoologs
touch myid
echo "1" >myid  #此处每个zookeeper节点的myid内容不同,直接把server.1、server.2、server.3后的数字分别添加到myid文件内
5、修改环境变量vi .bash_profile
export ZOOKEEPER_HOME=/usr/local/zookeeper
PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
6、生效环境变量
source .bash_profile
7、其他节点直接将以上配置好的程序远程copy到其他节点即可
scp -r /usr/local/zookeeper root@ip1:/usr/local/
scp -r /usr/local/zookeeper root@ip2:/usr/local
8、然后在其他节点把4、5、6的步骤也再执行一遍后,我们就完成了zookeeper的搭建工作。
7、每个节点顺序启动zookeeper
zkServer.sh start
zkServer.sh status #查看哪一个节点被选举为leader
8、如果启动过程有问题可以tailf zookeeper.out文件进行定位问题
如报如下错误信息:
2015-04-11 22:12:27,847 [myid:1] - INFO  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:4180:FastLeaderElection@849] - Notification time out: 60000
2015-04-11 22:13:27,859 [myid:1] - WARN  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:4180:QuorumCnxManager@382] - Cannot open channel to 2 at election address hbase02/192.168.
1.111:3888
java.net.ConnectException: Connection refused
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:345)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:402)
        at org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:840)
        at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:762)
则表示其他节点zookeeper你还没进行启动,在启动其他节点后则该错误会信息会自动停止输出了。
以上完,如有问题期待你的交流


阅读(5229) | 评论(1) | 转发(1) |
给主人留下些什么吧!~~

kr_zhang2015-04-23 08:50:20

楼主,我现在只知道hadoop 有很多“组件”,如:hbase myreduce  hdfs  zookeeper  ,这里面myreduce , zookeeper 是提供接口需要开发人员编写代码的。
zookeeper 提供的协调功能是否需要自己编写代码,能举个案例简单的说明一下吗?  我现在对这个东西还是比较迷茫。感谢