Chinaunix首页 | 论坛 | 博客
  • 博客访问: 936797
  • 博文数量: 119
  • 博客积分: 6248
  • 博客等级: 准将
  • 技术积分: 1419
  • 用 户 组: 普通用户
  • 注册时间: 2008-08-08 14:14
文章分类

全部博文(119)

文章存档

2014年(1)

2012年(1)

2011年(2)

2010年(22)

2009年(81)

2008年(12)

分类: LINUX

2010-04-22 22:19:47

由于最新公司业务使用的NFS系统偶尔发生故障,恢复起来需要很多时间,于是学习了下文件系统,之前一直在做mfs的测试,但是由于mfs有单点故障的存在,也就放下了,希望以后mfs可以解决单点的问题,那就造福于大众了.

Glusterfs的简介:

GlusterFS是一个高层次的分布式文件系统解决方案.通过增加一个逻辑层,对上层使用者掩盖了下面的实现,使用者不用了解也不需知道,文件的存储形式、分布.内部实现是整合了许多存储块(server)通过Infiniband RDMA 或者Tcp/Ip方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86 主机,通过网络搭建起来.
 

采用这种方式的理由:

 
由于glusterfs文件系统可以采用多种模式,之前做了cluster/Replicate,但是经过读写性能测试,发现写操作不是很理想,虽然可以确保数据的完整性和防止单点故障.于是有了标题这个方式,既可以确保读写速度又可以确保数据完整性和防止单点故障.利用heartbeat来检测2个主机的存活,glusterfs磁盘挂载的切换.
 

网络拓扑:

 
说明:由于drbd同步机制只允许在一个服务器上进行磁盘的挂载,另外一个服务器不允许再进行挂载,否则导致同步失败.为了避免master节点down机之后 ,还需要手动去slave节点上进行手动挂载,在此时间内客户端无法正常的读写数据,这里利用heartbeat来自动进行磁盘挂载切换工作,master节点down,它会把磁盘资源释放到slave文件服务器,切换工作仅仅需要10秒左右的时间,大大的提高了故障恢复相应时间.由于heartbeat不能对服务项进行检测,于是又写了moniter脚本来弥补这个缺陷.

测试环境

OS平台:
 
REDHAT  AS  5.1
 
Ip地址规划: 
 
192.168.0.59    glusterfs-1    drbd-1
192.168.0.60    glusterfs-2    drbd-2  

磁盘规划:

   Sda:安装相关的安装包 
   Sdb:用来做drbd的同步
  
Sofrware: 
 
fuse-2.8.3.tar.gz
glusterfs-3.0.3.tar.gz
drbd-8.3.5.tar.gz
libnet-1.1.2.1.tar.gz
heartbeat-2.0.7.tar.gz

安装相关的包

//2server节点都安装glusterfsdrbd,由于glusterfs使用到了fuse模块,所以需要先安装FUSE.
 
#tar zxvf fuse-2.8.3.tar.gz
#cd fuse-2.8.3
#./configure -enable-dependency-tracking -enable-lib -enable-util
#make && make install
 
#tar zxvf glusterfs-3.0.3.tar.gz
#cd glusterfs-3.0.3
#./configure
#make && make install
 
#tar zxvf drbd-8.3.5.tar.gz
#cd drbd-8.3.5
#make && make install
 
#tar zxvf libnet-1.1.2.1.tar.gz
#cd libnet
#./configure
#make && make install
 
#tar zxvf heartbeat-2.0.7.tar.gz
#cd heartbeat-2.0.7
# ./ConfigureMe configure --disable-swig --disable-snmp-subagent
   #make && make install
 

相关文件的配置

 //2个节点上添加如下的hosts.
   # vi hosts
     192.168.0.59            drbd-1
     192.168.0.60            drbd-2
 
//配置master节点的glusterfs配置文件
 
#cd  /usr/local/etc/glusterfs
#cp  glusterfsd.vol.sample  glusterfsd.vol
#vi   glusterfsd.vol                       //配置如下
 
 
### Export volume "brick" with the contents of "/home/export" directory.
volume brick
  type storage/posix                        # POSIX FS translator
  option directory /home/gluster            # Export this directory
end-volume
 
volume locker
  type features/locks
  subvolumes brick
  end-volume
 
volume bricks
  type performance/io-threads
  option thread-count 50                   //开启50个线程
  subvolumes locker
end-volume
 
### Add network serving capability to above brick.
volume server
  type protocol/server
  option transport-type tcp/server
  option listen-port 6996                    # Default is 6996
  subvolumes locker
  option auth.addr.bricks.allow *
  option auth.addr.locker.allow *
end-volume
 
 
 
//配置slave节点的glusterfs配置文件
 
### Export volume "brick" with the contents of "/home/export" directory.
volume brick
  type storage/posix                    # POSIX FS translator
  option directory /home/gluster        # Export this directory
end-volume
 
volume locker
type features/posix-locks
subvolumes brick
end-volume
 
volume bricks
  type performance/io-threads
  option thread-count 50                //开启50个线程
  subvolumes locker
end-volume
 
### Add network serving capability to above brick.
volume server
  type   protocol/server
  option transport-type tcp/server
  option listen-port 6996
  subvolumes locker
  option auth.addr.bricks.allow *        
  option auth.addr.locker.allow *
end-volume 
 
//2个节点上执行下面的命令,启动server端的服务
 
  #gluster –f /usr/loca/etc/gluster/glusterfd.vol
 
 
//配置drbd的配置文件,2个节点的配置相同
 
common {
  syncer { rate 100M; }       //限制流量
}
 
resource db {
 
  protocol C;                 //使用C协议
 
  disk {
  on-io-error detach;
  }
 
  on drbd-1 {                  //drbd-1为第一台机器的机器名
  device /dev/drbd0;           //创建的虚拟资源   
  disk /dev/sdb1;              //实际的物理分区
  address 192.168.0.59:7788;   //第一台机器的ip地址,及通讯端口        
  meta-disk internal;          //类型,局域网
  }
      
  on drbd-2 {
  device /dev/drbd0;
  disk /dev/sdb1;
  address 192.168.1.60:7788;
  meta-disk internal;
  }       
}
 
//2个节点上执行如下命令, 创建相应的元数据保存的数据块
 
#modprobe  /lib/modules/2.6.18-53.el5/kernel/drivers/block/drbd.ko
#lsmod |grep drbd            //drbd模块是否加载成功
 
//由于我这里是有数据的,先要保存下数据.
drbd-1 # dd if=/dev/sdb1 of=/root/backup bs=500M count=1  //这里要根据自己的数据
                                                            大小进行修改.
#drbdadm create-md db        //2个主机上的 /dev/sdb1 分区上创建相应的元数据保存的数据块
#/etc/init.d/drbd start
#chkconfig drbd on 
# ps aux | grep drbd
 
avahi     2239  0.0  1.1   2552  1384 ?        Ss   19:38   0:00 avahi-daemon: running [drbd-1.local]
root      2702  0.0  0.0      0     0 ?        S    20:32   0:00 [drbd1_worker]
root      2715  0.0  0.0      0     0 ?        S    20:32   0:00 [drbd1_receiver]
root      2726  0.0  0.0      0     0 ?        S    20:32   0:00 [drbd1_asender]

//如果看到这4个进程就说明drbd启动正常. drbd0_workerdrbd0的主要进程drbd0_asenderprimarydrbd0的数据发送进程,drbd0_receiversecondarydrbd0的数据接收进程
阅读(2479) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~