红帽企业存储管理之DRBD应用详解

 红帽企业存储管理之DRBD应用详解

软件包下载地址：

DRBD基础知识详解（概念和安装）

磁盘镜像技术DRBD

1、 什么是DRBD？

    DRBD 是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连接结合使用，也可以把它看作是一种网络RAID。

2、DRBD是如何工作的？

    Drbd 负责接收数据，把数据写到本地磁盘，然后发送给另一个主机。另一个主机再将数据存到自己的磁盘中。目前，drbd 每次只允许对一个节点进行读写访问，这对于通常的故障切换高可用性集群来讲已经足够用了。以后的版本将支持两个节点进行读写存取。

3、 drbd与现在的HA集群的关系

    一个drbd系统由两个以上节点构成，与HA集群类似，也有主用节点和备用节点之分，在带有主要设备的节点上，应用程序和操作系统可以运行和访问drbd设备（/dev/nbX）。

    在主节点写入的数据通过drbd设备存储到主节点的磁盘设备中，同时，这个数据也会自动发送到备用节点相应的drbd设备，最终写入备用节点的磁盘设备中，在备用节点上，drbd只是将数据从drbd设备写入到备用节点的磁盘设备中。

    大部分现行高可用性集群都会使用共享存储，而Drbd也可以作为一个共享存储设备，使用drbd不需要任何硬件的投资。因为它在IP网络中运行，所以，利用drbd作为共享存储设备，要节约很多成本，因为在价格上IP网络要比专用的存储网络经济的多。

4、 DRBD内部实现原理

5、 DRBD协议说明

A 数据一旦写入磁盘并发送到网络中就认为完成了写入操作.

B 收到接收确认就认为完成了写入操作.

C 收到写入确认就认为完成了写入操作.

6、drbd设备的三个进程

每个drbd设备会有三个进程：

drbd0_worker是drbd0的主要进程，

drbd0_asender是primary上drbd0的数据发送进程，

drbd0_receiver是secondary上drbd0的数据接收进程

7、 DRBD工作原理

8、 下载DRBD软件

    DRBD的官方网站为：

    可以从从官方网站下载源码包来编译或直接使用yum源来安装。

DRBD在企业网络中的应用

一．案例应用背景

在方案中，通过DRBD保证了服务器数据的完整性和一致性。DRBD类似于一个网络RAID-1功能。当你将数据写入本地文件系统时，数据还将会被发送到网络中另一台主机上，以相同的形式记录在一个另文件系统中。主节点与备节点的数据可以保证实时相互同步。当本地主服务器出现故障时，备份服务器上还会保留有一份相同的数据，可以继续使用。

二．案例应用简化拓扑图

软件包下载地址：

三．案例应用具体实现步骤：

1. 基本配置

1.1  node1基本配置&新建磁盘

1.1.1查看系统信息，同步时间

[root@node1 ~]# uname -rv

2.6.18-164.el5 #1 SMP Tue Aug 18 15:51:54 EDT 2009

[root@node1 ~]# cat /etc/redhat-release

Red Hat Enterprise Linux Server release 5.4 (Tikanga)

[root@node1 ~]# hwclock -s

[root@node1 ~]# date

Wed Feb  8 13:55:50 CST 2012

1.1.2查看主机名称，修改查看ip地址

[root@node1 ~]# hostname

node1.junjie.com

[root@node1 ~]# cat /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=node1.junjie.com

[root@node1 ~]#setup

[root@node1 ~]# service network restart

Shutting down interface eth0:                              [  OK  ]

Shutting down loopback interface:                          [  OK  ]

Bringing up loopback interface:                            [  OK  ]

Bringing up interface eth0:                                [  OK  ]

[root@node1 ~]# ifconfig eth0

eth0      Link encap:Ethernet  HWaddr 00:0C:29:AE:83:D1 

          inet addr:192.168.101.211  Bcast:192.168.101.255  Mask:255.255.255.0

1.1.3配置/etc/hosts文件（就不用dns了）

[root@node1 ~]# echo "192.168.101.211 node1.junjie.com node1" >>/etc/hosts

[root@node1 ~]# echo "192.168.101.212 node2.junjie.com node2" >>/etc/hosts

1.1.4构建一个新的磁盘空间有利于实现DRBD技术

[root@node1 ~]# fdisk -l

Disk /dev/sda: 21.4 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

   Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *           1          13      104391   83  Linux

/dev/sda2              14        1318    10482412+  83  Linux

/dev/sda3            1319        1579     2096482+  82  Linux swap / Solaris

[root@node1 ~]# fdisk /dev/sda

p/n/p//+1000M/p/w

[root@node1 ~]# fdisk -l

Disk /dev/sda: 21.4 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

   Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *           1          13      104391   83  Linux

/dev/sda2              14        1318    10482412+  83  Linux

/dev/sda3            1319        1579     2096482+  82  Linux swap / Solaris

/dev/sda4            1580        1702      987997+  83  Linux

[root@node1 ~]# partprobe /dev/sda

[root@node1 ~]# cat /proc/partitions

major minor  #blocks  name

 

   8     0   20971520 sda

   8     1     104391 sda1

   8     2   10482412 sda2

   8     3    2096482 sda3

   8     4     987997 sda4

1.2  node2基本配置&新建磁盘

1.2.1查看系统信息，同步时间

[root@node2 ~]# uname -rv

2.6.18-164.el5 #1 SMP Tue Aug 18 15:51:54 EDT 2009

[root@node2 ~]# cat /etc/redhat-release

Red Hat Enterprise Linux Server release 5.4 (Tikanga)

[root@node2 ~]# hwclock -s

[root@node2 ~]# date

Wed Feb  8 14:02:22 CST 2012

1.2.2查看主机名称，修改查看ip地址

[root@node2 ~]# hostname

node2.junjie.com

[root@node2 ~]# cat /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=node2.junjie.com

[root@node2 ~]# setup

[root@node2 ~]# service network restart

Shutting down interface eth0:                              [  OK  ]

Shutting down loopback interface:                          [  OK  ]

Bringing up loopback interface:                            [  OK  ]

Bringing up interface eth0:                                [  OK  ]

[root@node2 ~]# ifconfig eth0

eth0      Link encap:Ethernet  HWaddr 00:0C:29:D1:D4:32 

          inet addr:192.168.101.212  Bcast:192.168.101.255  Mask:255.255.255.0

1.2.3配置/etc/hosts文件（就不用dns了）

[root@node2 ~]# echo "192.168.101.211 node1.junjie.com node1" >>/etc/hosts

[root@node2 ~]# echo "192.168.101.212 node2.junjie.com node2" >>/etc/hosts

1.2.4构建一个新的磁盘空间有利于实现DRBD技术

[root@node2 ~]# fdisk -l

 

Disk /dev/sda: 21.4 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

   Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *           1          13      104391   83  Linux

/dev/sda2              14        1318    10482412+  83  Linux

/dev/sda3            1319        1579     2096482+  82  Linux swap / Solaris

[root@node2 ~]# fdisk /dev/sda

p/n/p//+1000M/p/w

[root@node2 ~]# fdisk -l

 

Disk /dev/sda: 21.4 GB, 21474836480 bytes

255 heads, 63 sectors/track, 2610 cylinders

Units = cylinders of 16065 * 512 = 8225280 bytes

 

   Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *           1          13      104391   83  Linux

/dev/sda2              14        1318    10482412+  83  Linux

/dev/sda3            1319        1579     2096482+  82  Linux swap / Solaris

/dev/sda4            1580        1702      987997+  83  Linux

[root@node2 ~]# partprobe /dev/sda

[root@node2 ~]# cat /proc/partitions

major minor  #blocks  name

 

   8     0   20971520 sda

   8     1     104391 sda1

   8     2   10482412 sda2

   8     3    2096482 sda3

   8     4     987997 sda4

1.3  在node1和node2上配置ssh密钥信息，

有利于以后在一个节点对另一节点直接操作。

1.3.1  在node1上配置ssh密钥信息

[root@node1 ~]# ssh-keygen -t rsa

[root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub [e-mail]

1.3.2  在node2上配置ssh密钥信息

[root@node2 ~]# ssh-keygen -t rsa

[root@node2 ~]# ssh-copy-id -i .ssh/id_rsa.pub [e-mail]

2、DRBD安装配置

在node1和node2做以下操作：

我下载的软件包是：（我放在/root/下了）

drbd83-8.3.8-1.el5.centos.i386.rpm 

kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

 

2.1、安装DRBD 套件

[root@node1 ~]# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm

[root@node1 ~]# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

 

[root@node2 ~]# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm

[root@node2 ~]# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm

2.2、加载DRBD 模块

[root@node1 ~]# modprobe drbd

[root@node1 ~]# lsmod | grep drbd

drbd                  228528  0

[root@node1 ~]#

 

[root@node2 ~]# modprobe drbd

[root@node2 ~]# lsmod | grep drbd

drbd                  228528  0

[root@node2 ~]#

2.3、修改配置文件

drbd.conf配置文件DRBD运行时,会读取一个配置文件/etc/drbd.conf.这个文件里描述了DRBD设备与硬盘分区的映射关系

2.3.1 在node1上以下配置

 

[root@node1 ~]# cd /etc/drbd.d/

[root@node1 drbd.d]# ll

total 4

-rwxr-xr-x 1 root root 1418 Jun  4  2010 global_common.conf

[root@node1 drbd.d]# cp global_common.conf global_common.conf.bak

 

 

2.3.2  复制配置到node2上：

[root@node1 drbd.d]# scp /etc/drbd.conf node2:/etc/

drbd.conf                               100%  133     0.1KB/s   00:00   

[root@node1 drbd.d]# scp /etc/drbd.d/* node2:/etc/drbd.d/

global_common.conf                      100%  427     0.4KB/s   00:00   

global_common.conf.bak                  100% 1418     1.4KB/s   00:00   

nfs.res                                 100%  330     0.3KB/s   00:00   

[root@node1 drbd.d]#

2.4、 检测配置文件

// 检测配置文件

[root@node1 drbd.d]# drbdadm adjust nfs

0: Failure: (119) No valid meta-data signature found.

 

       ==> Use 'drbdadm create-md res' to initialize meta-data area. <==

 

Command 'drbdsetup 0 disk /dev/sda4 /dev/sda4 internal --set-defaults --create-device --fencing=resource-only --on-io-error=detach' terminated with exit code 10

[root@node1 drbd.d]# drbdadm adjust nfs

drbdsetup 0 show:5: delay-probe-volume 0k => 0k out of range [4..1048576]k.

[root@node1 drbd.d]#

2.5、创建nfs 的资源

2.5.1  在node1上创建nfs 的资源

[root@node1 drbd.d]# drbdadm create-md nfs

Writing meta data...

initializing activity log

NOT initialized bitmap

New drbd meta data block successfully created.

[root@node1 drbd.d]# ll /dev/drbd0

brw-r----- 1 root disk 147, 0 Feb  8 14:27 /dev/drbd0

2.5.2  在node2上创建nfs 的资源

[root@node1 drbd.d]# ssh node2.junjie.com 'drbdadm create-md nfs'

NOT initialized bitmap

Writing meta data...

initializing activity log

New drbd meta data block successfully created.

[root@node1 drbd.d]# ssh node2.junjie.com 'ls -l /dev/drbd0'

brw-r----- 1 root disk 147, 0 Feb  8 14:19 /dev/drbd0

2.6  启动DRBD服务

[root@node1 drbd.d]# service drbd start

Starting DRBD resources: drbdsetup 0 show:5: delay-probe-volume 0k => 0k out of range [4..1048576]k.

[root@node1 drbd.d]# ssh node2.junjie.com 'service drbd start'

Starting DRBD resources: drbdsetup 0 show:5: delay-probe-volume 0k => 0k out of range [4..1048576]k.

[root@node1 drbd.d]#

2.7  启动DRBD服务，查看DRBD状态

[root@node1 drbd.d]# service drbd status

drbd driver loaded OK; device status:

version: 8.3.8 (api:88/proto:86-94)

GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:16

m:res  cs         ro                   ds                         p  mounted  fstype

0:nfs  Connected  Secondary/Secondary  Inconsistent/Inconsistent  C

[root@node1 drbd.d]# ssh node2.junjie.com 'service drbd status'

drbd driver loaded OK; device status:

version: 8.3.8 (api:88/proto:86-94)

GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by [e-mail], 2010-06-04 08:04:16

m:res  cs         ro                   ds                         p  mounted  fstype

0:nfs  Connected  Secondary/Secondary  Inconsistent/Inconsistent  C

[root@node1 drbd.d]#

 

[root@node1 drbd.d]# drbd-overview

  0:nfs  Connected Secondary/Secondary Inconsistent/Inconsistent C r----

[root@node1 drbd.d]# ssh node2.junjie.com 'drbd-overview'

  0:nfs  Connected Secondary/Secondary Inconsistent/Inconsistent C r----

[root@node1 drbd.d]#

 

[root@node1 drbd.d]# chkconfig drbd on

[root@node1 drbd.d]# chkconfig --list drbd  

drbd                0:off      1:off      2:on       3:on       4:on       5:on       6:off

[root@node1 drbd.d]# ssh node2.junjie.com 'chkconfig drbd on'

[root@node1 drbd.d]# ssh node2.junjie.com 'chkconfig --list drbd'

drbd                0:off      1:off      2:on       3:on       4:on       5:on       6:off

2.8  在node1主节点上进行以下配置，并查看挂载信息。

[root@node1 drbd.d]# mkdir /mnt/nfs

[root@node1 drbd.d]# ssh node2.junjie.com 'mkdir /mnt/nfs'

[root@node1 drbd.d]# drbdsetup /dev/drbd0 primary -o

[root@node1 drbd.d]# mkfs.ext3 /dev/drbd0

[root@node1 drbd.d]# mount /dev/drbd0 /mnt/nfs/

 

 

至此DRBD配置成功！！！

 

附录：DRBD应用管理配置：（以下命令说明略）

 

[root@node1 drbd.d]# drbdadm role nfs
Primary/Secondary
[root@node1 drbd.d]# ssh node2.junjie.com 'drbdadm role nfs'
Secondary/Primary
[root@node1 drbd.d]# ll /mnt/nfs/
total 16
drwx------ 2 root root 16384 Feb 8 14:57 lost+found
[root@node1 drbd.d]# echo "20120508" >> /mnt/nfs/f1
[root@node1 drbd.d]# drbdadm secondary nfs
0: State change failed: (-12) Device is held open by someone
Command 'drbdsetup 0 secondary' terminated with exit code 11
[root@node1 drbd.d]# umount /mnt/nfs/
[root@node1 drbd.d]# drbdadm secondary nfs
[root@node1 drbd.d]# drbdadm role nfs
Secondary/Secondary
[root@node1 drbd.d]# ssh node2.junjie.com 'drbdadm role nfs'
Secondary/Secondary
[root@node1 drbd.d]# ssh node2.junjie.com 'drbdadm primary nfs'
[root@node1 drbd.d]# ssh node2.junjie.com 'drbdadm role nfs'
Primary/Secondary
[root@node1 drbd.d]# drbdadm role nfs
Secondary/Primary
[root@node1 drbd.d]# ssh node2.junjie.com 'mount /dev/drbd0 /mnt/nfs'
[root@node1 drbd.d]# ssh node2.junjie.com 'ls -l /mnt/nfs'
total 20
-rw-r--r-- 1 root root 9 Feb 8 15:32 f1
drwx------ 2 root root 16384 Feb 8 14:57 lost+found
[root@node1 drbd.d]# ssh node2.junjie.com 'cat /mnt/nfs/f1'
20120508
[root@node1 drbd.d]# ssh node2.junjie.com 'echo "--xj" >>/mnt/nfs/f1'
[root@node1 drbd.d]# ssh node2.junjie.com 'cat /mnt/nfs/f1'
20120508
--xj
[root@node1 drbd.d]# ssh node2.junjie.com 'touch /mnt/nfs/f2'
[root@node1 drbd.d]# ssh node2.junjie.com 'ls -l /mnt/nfs'
total 20
-rw-r--r-- 1 root root 14 Feb 8 15:34 f1
-rw-r--r-- 1 root root 0 Feb 8 15:34 f2
drwx------ 2 root root 16384 Feb 8 14:57 lost+found
[root@node1 drbd.d]#
[root@node1 drbd.d]# ssh node2.junjie.com 'umount /mnt/nfs'
[root@node1 drbd.d]# ssh node2.junjie.com 'drbdadm secondary nfs'
[root@node1 drbd.d]# ssh node2.junjie.com 'drbdadm role nfs'
Secondary/Secondary
[root@node1 drbd.d]# drbdadm primary nfs
[root@node1 drbd.d]# drbdadm role nfs 
Primary/Secondary
[root@node1 drbd.d]# mount /dev/drbd0 /mnt/nfs/
[root@node1 drbd.d]# ll /mnt/nfs/
total 20
-rw-r--r-- 1 root root 14 Feb 8 15:34 f1
-rw-r--r-- 1 root root 0 Feb 8 15:34 f2
drwx------ 2 root root 16384 Feb 8 14:57 lost+found
[root@node1 drbd.d]# cat /mnt/nfs/f1
20120508
--xj
[root@node1 drbd.d]#
[root@node1 drbd.d]# drbd-overview 
0:nfs Connected Primary/Secondary UpToDate/UpToDate C r---- /mnt/nfs ext3 950M 18M 885M 2% 
[root@node1 drbd.d]# ssh node2.junjie.com 'drbd-overview' 
0:nfs Connected Secondary/Primary UpToDate/UpToDate C r---- 
[root@node1 drbd.d]#

《完》

--xjzhujunjie

--2012/05/08