drbd、heartbeat出现的问题

公司在进行网络升级时，意外造成网络中断，回到公司以后发现公司的核心数据库（drbd+heartbet）出了问题，用户访问到的数据会变来变去

分析可能是drbd、heartbeat出了问题,DRBD出现的情况如下：

在Secondary机器上的状态：

# cat /proc/drbd
version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by , 2008-09-11 11:27:58
 0: cs:WFConnection st:Secondary/Unknown ds:UpToDate/DUnknown C r---
    ns:0 nr:1103731212 dw:1153665380 dr:29619905 al:289863 bm:289908 lo:0 pe:0 ua:0 ap:0 oos:7020664

 

在Primary机器上的状态：

# cat /proc/drbd version: 8.2.6 (api:88/proto:86-88) GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by [e-mail], 2008-09-11 11:29:32 0: cs:StandAlone st:Primary/Unknown ds:UpToDate/DUnknown r--- ns:1103731216 nr:0 dw:1179149684 dr:602898266 al:797764205 bm:4411997 lo:0 pe:0 ua:0 ap:0 oos:10559092

用# ip add 查看服务器的ip，竟然两边都有浮动ip

 

第一次用的的解决方法：

先在Secondary机器上做如下操作：

[root@waptx90 ha.d]# cat /proc/drbd
version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by , 2008-09-11 11:27:58
 0: cs:WFConnection st:Secondary/Unknown ds:UpToDate/DUnknown C r---
    ns:0 nr:1103731212 dw:1153665380 dr:29619905 al:289863 bm:289908 lo:0 pe:0 ua:0 ap:0 oos:7020664
运行第一个命令：
# drbdadm disconnect all
# cat /proc/drbd
version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by , 2008-09-11 11:27:58
 0: cs:StandAlone st:Secondary/Unknown ds:UpToDate/DUnknown   r---
    ns:0 nr:1103731212 dw:1153665380 dr:29619905 al:289863 bm:289908 lo:0 pe:0 ua:0 ap:0 oos:7020664
运行第二个命令：
# drbdadm -- --discard-my-data connect all
# cat /proc/drbd
version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by , 2008-09-11 11:27:58
 0: cs:WFConnection st:Secondary/Unknown ds:UpToDate/DUnknown C r---
    ns:0 nr:0 dw:1153665380 dr:29619905 al:289863 bm:289908 lo:0 pe:0 ua:0 ap:0 oos:7020664

 

然后在Primary机器上做的操作：

# drbdadm connect all

运行上述命令后在Primary机器上看到的状态：

# cat /proc/drbd version: 8.2.6 (api:88/proto:86-88) GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by [e-mail], 2008-09-11 11:29:32 0: cs:SyncSource st:Primary/Secondary ds:UpToDate/Inconsistent C r--- ns:232 nr:0 dw:1179244456 dr:602909642 al:797779118 bm:4426867 lo:1 pe:60 ua:0 ap:61 oos:10642352 [>....................] sync'ed: 0.1% (1

在Secondary上看到的状态：

# cat /proc/drbd version: 8.2.6 (api:88/proto:86-88) GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by [e-mail], 2008-09-11 11:27:58 0: cs:SyncSource st:Secondary/Primary ds:UpToDate/Inconsistent C r--- ns:0 nr:0 dw:1153665380 dr:29619905 al:289863 bm:289908 lo:0 pe:0 ua:0 ap:0 oos:10642352 [>....................] sync'ed: 0.1% (10392/10392

此时出现的问题：

同步的进度一直停留在0.1%，后来又等了好一会，还是不行，

Secondary日志出现了: No response from the DRBD driver! Is the module loaded?

最后没有办法，将secondary机器重新启动，过后两边的数据开始同步