DRBD配置：
1.查看内核版本号
[root@node1 ~]# uname -r
2.6.32-431.el6.i686
2.下载对应的rpm包
因为内核版本小于2.6.33，所以需要安装两个包。且与内核版本号一定要一致；
[root@node1 ~]# ll | grep drbd
-rw-r--r-- 1 root root 203764 Nov 9 10:22 drbd-8.3.15-32.el6.i686.rpm
-rw-r--r-- 1 root root 150824 Nov 9 11:12 drbd-kmdl-2.6.32-431.el6-8.3.15-32.el6.i686.rpm
下载地址：
3.两个节点上安装DRBD
[root@node1 ~]# yum install --nogpgcheck localinstall drbd-*.rpm
4.两个节点上创建分区(也可以做一个LVM)
[root@node1 ~]# fdisk /dev/sdb
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-1305, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-1305, default 1305): +1G
Command (m for help): p
Device Boot Start End Blocks Id System
/dev/sdb1 1 132 1060258+ 83 Linux
Command (m for help): w
[root@node1 ~]# partprobe /dev/sdb
5.将创建的分区做成DRBD设备
5.1 DRBD主配置文件不需配置(为了更好管理对配置文件实行分片,将每个配置文件放入/etc/drbd.d下即可)
[root@node1 ~]# cat /etc/drbd.conf
# You can find an example in /usr/share/doc/drbd.../drbd.conf.example
include "drbd.d/global_common.conf";
include "drbd.d/*.res";
5.2 global_common.conf文件
[root@node1 drbd.d]# cat global_common.conf
global { #全局配置段
usage-count no; #是否参加用户统计
# minor-count dialog-refresh disable-ip-verification
}
common { #DRBD资源的共通配置可写入这里，定义默认属性
protocol C; #DRBD资源都使用协议C
handlers { #定义一系列处理器，用来回应特定事件
# These are EXAMPLE handlers only.
# They may have severe implications,
# like hard resetting the node under certain circumstances.
# Be careful when chosing your poison.
pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
# split-brain "/usr/lib/drbd/notify-split-brain.sh root";
#出现脑裂问题的处理
# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
}
startup { #定义主机同步
# wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb
#wfc-timeout：该选项设定一个时间值，单位是秒。在启用DRBD块时，初始化脚本drbd会阻塞启动进程的运行，直到对等节点的出现。该选项就是用来限制这个等待时间的，默认为0，即不限制，永远等待。
#degr-wfc-timeout：该选项也设定一个时间值，单位为秒。也是用于限制等待时间，只是作用的情形不同：它作用于一个降级集群（即那些只剩下一个节点的集群）在重启时的等待时间。
}
disk {
on-io-error detach;
# on-io-error fencing use-bmbv no-disk-barrier no-disk-flushes
# no-disk-drain no-md-flushes max-bio-bvecs
}
net {
cram-hmac-alg "sha1"; #定义报文传输时的加密算法
shared-secret "centos"; #定义加密密钥
# sndbuf-size rcvbuf-size timeout connect-int ping-int ping-timeout max-buffers
# max-epoch-size ko-count allow-two-primaries cram-hmac-alg shared-secret
# after-sb-0pri after-sb-1pri after-sb-2pri data-integrity-alg no-tcp-cork
}
syncer {
rate 100M; #定义报文传输速率
# rate after al-extents use-rle cpu-mask verify-alg csums-alg
}
}
文件中个选项的具体用法可以man drbd.conf
5.3定义资源/etc/drbd.d/*.res
DRBD设备的资源有资源名，设备名，磁盘配置和网络配置，所以，这里设定
资源名为：mydrbd
DRBD设备为：/dev/drdb0
磁盘配置为：/dev/sdb1
网络配置为：192.168.85.144(node1) 192.168.85.145(node2)
[root@node1 drbd.d]# cat mydrbd.res
resource mydrbd {
on node1.a.com {
device /dev/drbd0;
disk /dev/sdb1；
address 192.168.85.144:7789;
meta-disk internal;
}
on node2.a.com {
device /dev/drbd0;
disk /dev/sdb1；
address 192.168.85.145:7789;
meta-disk internal;
}
}
5.4将上述配置过的两个文件拷贝到node2上
[root@node1 drbd.d]# scp -p global_common.conf mydrbd.res node2:/etc/drbd.d/
global_common.conf 100% 1693 1.7KB/s 00:00
mydrbd.res 100% 320 0.3KB/s 00:00
6.在两个节点上初始化以定义的资源并启动服务
6.1两个节点上初始化资源
[root@node1 ~]# drbdadm create-md mydrbd
Writing meta data...
initializing activity log
NOT initialized bitmap
lk_bdev_save(/var/lib/drbd/drbd-minor-0.lkbd) failed: No such file or directory(这个错误不影响后面的)
New drbd meta data block successfully created.
lk_bdev_save(/var/lib/drbd/drbd-minor-0.lkbd) failed: No such file or directory
[root@node2 ~]# drbdadm create-md mydrbd
Writing meta data...
initializing activity log
NOT initialized bitmap
lk_bdev_save(/var/lib/drbd/drbd-minor-0.lkbd) failed: No such file or directory
New drbd meta data block successfully created.
lk_bdev_save(/var/lib/drbd/drbd-minor-0.lkbd) failed: No such file or directory
6.2两个节点上启动服务(一个节点启动后要去启动第二个，否则第一个节点的服务会一直处于开启状态)
[root@node1 ~]# /etc/init.d/drbd start
Starting DRBD resources: [
mydrbd
lk_bdev_save(/var/lib/drbd/drbd-minor-0.lkbd) failed: No such file or directory
d(mydrbd) s(mydrbd) n(mydrbd) ]symlink(/etc/drbd.conf, /var/lib/drbd/drbd-minor-0.conf): No such file or directory
......symlink(/etc/drbd.conf, /var/lib/drbd/drbd-minor-0.conf): No such file or directory
[root@node2 ~]# /etc/init.d/drbd status
drbd driver loaded OK; device status:
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by gardner@, 2013-11-29 12:26:09
m:res cs ro ds p mounted fstype
0:mydrbd Connected Secondary/Secondary Inconsistent/Inconsistent C
6.3查看启动状态
[root@node1 ~]# cat /proc/drbd
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by gardner@, 2013-11-29 12:26:09
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:1060184
[root@node2 ~]# cat /proc/drbd
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by gardner@, 2013-11-29 12:26:09
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:1060184
6.4此时两个节点都处于非移植状态，都是从节点，在要设置为主节点的主机上使用命令将该节点设置为主节点：
[root@node1 ~]# drbdadm -- --overwrite-data-of-peer primary mydrbd #等待一段时间
6.5再次查看状态，可见节点间数据同步完成且有了主从节点之分：
[root@node1 ~]# drbd-overview
0:mydrbd Connected Primary/Secondary UpToDate/UpToDate C r-----
[root@node2 ~]# drbd-overview
0:mydrbd Connected Secondary/Primary UpToDate/UpToDate C r-----
7.数据同步完成后对主节点格式化分区并挂载(只能对primary节点进行)
[root@node1 ~]# mke2fs -j /dev/drbd0
[root@node1 ~]# mkdir /mysqldata
[root@node1 ~]# mount /dev/drbd0 /mysqldata
[root@node1 ~]# echo "Hello" > /mysqldata/a.txt
[root@node1 ~]# ll /mysqldata/
-rw-r--r-- 1 root root 6 Nov 9 19:40 a.txt
drwx------ 2 root root 16384 Nov 9 19:38 lost+found
此时以可以正常存储
8.将node1转换为从节点测试node2能否查看存储的文件
8.1 node1先卸载挂载目录
[root@node1 ~]# umount /mysqldata
8.2 node1上执行命令将node1变为从节点
[root@node1 ~]# drbdadm secondary mydrbd
[root@node1 ~]# drbd-overview
0:mydrbd Connected Secondary/Secondary UpToDate/UpToDate C r-----
8.3 node2上执行命令将node2变为主节点
[root@node2 ~]# drbdadm primary mydrbd
[root@node2 ~]# drbd-overview
0:mydrbd Connected Primary/Secondary UpToDate/UpToDate C r-----
8.4 node2节点挂载测试
[root@node2 ~]# mkdir /mysqldata
[root@node2 ~]# mount /dev/drbd0 /mysqldata
[root@node2 ~]# cat /mysqldata/a.txt
Hello
这里切换节点的主从关系都是手动执行的，如果将DRBD加入高可用集群作为资源，即可以实现DRBD的自动挂载/卸载，节点关系的自动切换
补充：
1.资源控制
手动启用资源：drbdadm up resource_name | all
手动禁用资源：drbdadm down resource_name | all
升级资源：drbdadm primary resource_name
降级资源：drbdadm secondary resource_name
2.查看资源连接状态
[root@nod1 ~]# drbdadm cstate drbd_name
Connected
资源的连接状态：
一个资源可能有以下连接状态中的一种:
StandAlone 独立的：网络配置不可用；资源还没有被连接或是被管理断开（使用 drbdadm disconnect 命令），或是由于出现认证失败或是脑裂的情况
Disconnecting 断开：断开只是临时状态，下一个状态是StandAlone独立的
Unconnected 悬空：是尝试连接前的临时状态，可能下一个状态为WFconnection和WFReportParams
Timeout 超时：与对等节点连接超时，也是临时状态，下一个状态为Unconected悬空
BrokerPipe：与对等节点连接丢失，也是临时状态，下一个状态为Unconected悬空
NetworkFailure：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空
ProtocolError：与对等节点推动连接后的临时状态，下一个状态为Unconected悬空
TearDown 拆解：临时状态，对等节点关闭，下一个状态为Unconected悬空
WFConnection：等待和对等节点建立网络连接
WFReportParams：已经建立TCP连接，本节点等待从对等节点传来的第一个网络包
Connected 连接：DRBD已经建立连接，数据镜像现在可用，节点处于正常状态
StartingSyncS：完全同步，有管理员发起的刚刚开始同步，未来可能的状态为SyncSource或PausedSyncS
StartingSyncT：完全同步，有管理员发起的刚刚开始同步，下一状态为WFSyncUUID
WFBitMapS：部分同步刚刚开始，下一步可能的状态为SyncSource或PausedSyncS
WFBitMapT：部分同步刚刚开始，下一步可能的状态为WFSyncUUID
WFSyncUUID：同步即将开始，下一步可能的状态为SyncTarget或PausedSyncT
SyncSource：以本节点为同步源的同步正在进行
SyncTarget：以本节点为同步目标的同步正在进行
PausedSyncS：以本地节点是一个持续同步的源，但是目前同步已经暂停，可能是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
PausedSyncT：以本地节点为持续同步的目标，但是目前同步已经暂停，这可以是因为另外一个同步正在进行或是使用命令(drbdadm pause-sync)暂停了同步
VerifyS：以本地节点为验证源的线上设备验证正在执行
VerifyT：以本地节点为验证目标的线上设备验证正在执行
3.查看硬盘状态命令
[root@nod1 ~]# drbdadm dstate drbd_name
Inconsistent/Inconsistent
本地和对等节点的硬盘有可能为下列状态之一：
Diskless无盘：本地没有块设备分配给DRBD使用，这表示没有可用的设备，或者使用drbdadm命令手工分离或是底层的I/O错误导致自动分离
Attaching：读取无数据时候的瞬间状态
Failed 失败：本地块设备报告I/O错误的下一个状态，其下一个状态为Diskless无盘
Negotiating：在已经连接的DRBD设置进行Attach读取无数据前的瞬间状态
Inconsistent：数据是不一致的，在两个节点上（初始的完全同步前）这种状态出现后立即创建一个新的资源。此外，在同步期间（同步目标）在一个节点上出现这种状态
Outdated：数据资源是一致的，但是已经过时
DUnknown：当对等节点网络连接不可用时出现这种状态
Consistent：一个没有连接的节点数据一致，当建立连接时，它决定数据是UpToDate或是Outdated
UpToDate：一致的最新的数据状态，这个状态为正常状态
4.对于drbd 8.4版本，第一次设置某节点成为主节点的命令
drbdadm primary --force resource
参考资料：
阅读(1347) | 评论(0) | 转发(0) |
