Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6790397
  • 博文数量: 3857
  • 博客积分: 6409
  • 博客等级: 准将
  • 技术积分: 15948
  • 用 户 组: 普通用户
  • 注册时间: 2008-09-02 16:48
个人简介

迷彩 潜伏 隐蔽 伪装

文章分类

全部博文(3857)

文章存档

2017年(5)

2016年(63)

2015年(927)

2014年(677)

2013年(807)

2012年(1241)

2011年(67)

2010年(7)

2009年(36)

2008年(28)

分类: LINUX

2015-11-23 07:46:53

Hadoop的namenode做NFS灾备

[日期:2015-11-21] 来源: 作者:hogface [字体:  ]

1.首先选定一台灾备机器作为NFS服务器

(1)安装如下:

apt-get install nfs-kernel-server  (NFS服务器,提供nfs服务)

apt-get install portmap (端口映射服务器,主要是RPC程序号转化为Internet的端口号)

(2)在/etc/exports文件中 设置需要挂载为nfs服务的目录

注: /home//name  表示挂载的目录

*表示任意IP,这里大家可以根据需求配置,如10.10.*.*

(rw,sync,no_subtree_check)这里指挂载目录的相关设置(详细描述见文后备注) ,此处因为要提供给namenode写权限,故应该配置为rw

(3)重新启动NFS服务(使exports修改生效,当然还有另外的命令 这里就不再多侃了)

sudo  /etc/init.d/nfs-kernel-server restart  或者 sudo service nfs-kernel-server restart,  另外start,stop,status就不详述了

至于portmap的相关命令同上

(4)查看挂载目录是否成功

showmount -e

2.  在namenode上安装NFS客服端

(1)apt-get install nfs-common (NFS客户端,访问nfs)

(2)挂载NFS目录到本地

mount      IP:/home/hadoop/name  /home/hadoop/nfs

挂载命令    NFS服务的IP及路径            本地目录(必须为已存在的目录)

umount  /home/hadoop/nfs  卸载目录  如果出现device is busy错误  可以另加 -l  参数强制卸载

3.  配置namenode下hdfs-site.xml文件的dfs.name.dir配置里加上挂载的路径/home/hadoop/nfs

上传中...

4.  重启hadoop

然后去NFS服务器 /home/hadoop/name  目录下查看是否已经有namenode的fsimage等文件

有则证明配置成功。

如出现不能访问指定目录(/home/hadoop/nfs)的错误,请检查NFS服务器端文件权限问题是否为只可读(ro)

备注:有关NFS配置还有不明的请去参考网上其他文章,本文重点不在介绍配置NFS,故不作更多的描述。

以下是挂载文件的一些配置参数及含义,仅供参考

ro                      只读访问

rw                      读写访问

sync                    所有数据在请求时写入共享

async                  NFS在写入数据前可以相应请求

secure                  NFS通过1024以下的安全TCP/IP端口发送

insecure                NFS通过1024以上的端口发送

wdelay                  如果多个用户要写入NFS目录,则归组写入(默认)

no_wdelay              如果多个用户要写入NFS目录,则立即写入,当使用async时,无需此设置。

hide                    在NFS共享目录中不共享其子目录

no_hide                共享NFS目录的子目录

subtree_check          如果共享/usr/bin之类的子目录时,强制NFS检查父目录的权限(默认)

no_subtree_check        和上面相对,不检查父目录权限

all_squash              共享文件的UID和GID映射匿名用户anonymous,适合公用目录。

no_all_squash          保留共享文件的UID和GID(默认)

root_squash            root用户的所有请求映射成如anonymous用户一样的权限(默认)

no_root_squas          root用户具有根目录的完全管理访问权限

anonuid=xxx            指定NFS服务器/etc/passwd文件中匿名用户的UID

anongid=xxx            指定NFS服务器/etc/passwd文件中匿名用户的GID

下面关于Hadoop的文章您也可能喜欢,不妨看看:

14.04下Hadoop2.4.1单机/伪分布式安装配置教程  

安装和配置Hadoop2.2.0  

Ubuntu 13.04上搭建Hadoop环境 

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) 

Ubuntu下Hadoop环境的配置 

单机版搭建Hadoop环境图文教程详解 

更多Hadoop相关信息见 专题页面 

本文永久更新链接地址

阅读(1363) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~