P595的2个分区，08年11月实施的时候由于HBA卡不够用，每个分区只有1个HBA卡，所以做HACMP双机的时候，存储做的是单路径，虽然后来给各个分区都扩容了一块HBA卡，还是没有启用多路径，实际上，lspv共享存储都是hdisk5。这次单独重启了分区1（purchase1），结果发现HA起不来。但实际上，hdisk5却已经active了，同时发现有一个与hdisk5的pvid相同的hdisk3在lspv的显示结果中，这个hdisk无法操作，从而导致双机在两个节点的配置信息不一致，双机无法正常启动。事实上这就是从另外一个HBA卡识别到的hdisk5，所以做了如下操作：
1、由于使用clstop已经无法暂停purchase1上的HA，所以重启了这个分区；
2、开始使用rmdev -Rdl hdisk3试图删除hdisk3这条路径（请注意：只能删除路径，不能因为lspv看到hdisk3属于datavg而试图从datavg中将hdisk3删除，因为这样很可能破坏datavg的结构，导致数据丢失），结果报：hdisk3 busy，不让操作。当时hdisk3是inactive的，怎么回事呢？
3、回忆起当时这两个分区上做NBU的时候还安装了Veritas Storage Foundation（也就是Vxvm），于是使用vxdisk list检查了一下Vxvm卷的状态，果然，尽职尽责的Vxvm在系统启动后，将除了双机共享存储外的hdisk5全部管理起来了，包括hdisk3。vxdisk rm hdisk3，将hdisk3从Vxvm的管理中释放；
4、再次执行rmdev -Rdl hdisk5，设备成功删除；
5、将双机信息从purchase2向purchase1做了一次同步；
6、clstart启动HA，成功。
7、测试一下主动切换和自动接管，成功。
8、现场启动应用测试，没有问题。
说明：现场现在存储到主机这一段使用的是单路径，这将会是单点故障，还是得找个合适的机会将hdisk5和hdisk3统一用Vxvm封装，使其实现动态多路径，中间还涉及双机的配置修改（Vxvm卷在双机里就不能使用自带的LVM来起停，必须使用脚本），会比较麻烦
阅读(1230) | 评论(0) | 转发(0) |
