Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1064097
  • 博文数量: 83
  • 博客积分: 159
  • 博客等级: 上尉
  • 技术积分: 2221
  • 用 户 组: 普通用户
  • 注册时间: 2010-05-15 17:08
个人简介

……致我那曾经苦逼的岁月……

文章分类
文章存档

2018年(1)

2017年(7)

2016年(13)

2014年(1)

2013年(12)

2012年(27)

2011年(22)

分类: 服务器与存储

2012-07-17 13:27:50

hadoop+hbase+zookeeper集群环境已初步搭建完毕了。但是真正用于生产环境的集群系统必须规范,所以secondarynamenode不可能和namenode部署在同一节点上,于是乎我将secondarynamenode部署在一台datanode上,当然我这条件不允许,最佳的环境就是secondarynamenode单独部署在一台机器上,这样更好!当日secondarynamenode节点可以部署多个。只需要再masters文件里面多写几个节点即可!一行一个!
引用别人的一段话:
SecondaryNameNode有两个作用,一是镜像备份,二是日志与镜像的定期合并。两个过程同时进行,称为checkpoint
总共分五步:
1.SecondaryNameNode通知NameNode准备提交edits文件,此时主节点产生edits.new
2.SecondaryNameNode通过http get方式获取NameNode的fsimage与edits文件(在SecondaryNameNode的current同级目录下可见到temp.check-point或者previous-checkpoint目录,这些目录中存储着从namenode拷贝来的镜像文件)
3.SecondaryNameNode开始合并获取的上述两个文件,产生一个新的fsimage文件fsimage.ckpt
4.SecondaryNameNode用http post方式发送fsimage.ckpt至NameNode
5.NameNode将fsimage.ckpt与edits.new文件分别重命名为fsimage与edits,然后更新fstime,整个checkpoint过程到此结束。
环境介绍:
系统版本均属于redhat 4.8
192.168.15.95   master
192.168.15.72   slave1
192.168.15.71   slave2
192.168.15.132  slave3
下面我将secondarynamenode部署在slave3节点上。
首先你的hadoop的masters文件里面写的是部署secondarynamenode节点的主机名。改完后记得同步到所有节点上。(这个我前面的文章有介绍)
其次就是直接在你的secondarynamenode节点上做修改就可以了
1、修改core-site.xml文件,增加如下内容:
   
          fs.checkpoint.period               默认检查时间是1小时,这里以秒结尾。
          3600
   

   
          fs.checkpoint.size                 默认检查块大小是64M。
          67108864
   

   
          fs.checkpoint.dir
          /data/work/hdfs/namesecondary           
   
最后的fs.checkpoint.dir这个值是根据你的dfs.name.dir值去参考,我的这个就是如下图所示:
  dfs.name.dir
  /data/work/hdfs/name
2、修改hdfs-site.xml文件,修改如下内容:

  dfs.http.address
  0.0.0.0:50070     
 
    The address and the base port where the dfs namenode web ui will listen on.
    If the port is 0 then the server will start on a free port.
 

请将0.0.0.0修改为你要部署secondarynamenode节点的主机名,我这里就是写master
3、重启hadoop(步骤省略)
4、测试secondarynamenode部署是否正确?
可以检查secondarynamenode的日志,或者直接查看/data/work/hdfs/namesecondary目录下是否有一些文件呢?如果我没记错的话,这里一般会是1小时之后才会出现完整的日志和映像。如下图所示:
[hadoop@slave3 namesecondary]$ ll
总用量 12
drwxrwxr-x  2 hadoop hadoop 4096  7月 17 13:51 current
drwxrwxr-x  2 hadoop hadoop 4096  7月 11 19:36 image
-rw-rw-r--  1 hadoop hadoop    0  7月 16 17:28 in_use.lock
drwxrwxr-x  2 hadoop hadoop 4096  7月 17 13:46 previous.checkpoint
当然最主要的是有了这些文件你就可以去恢复namenode节点了!当然数据肯定会有丢失,因为默认是1小时同步一次!不建议新手将检查时间设置的很小,因为这样会增大namenode的负载,平常我们不会拿secondarynamenode的日志去恢复,除非万不得已的情况,因为我们有更好,更实时的备份方法。这里以后再介绍!



 
阅读(3149) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~