From:
http://blog.163.com/dazuiba_008/blog/static/36334981201110165237237/
2011-11-16 17:23:07
今天一个HP MSA2312FC的存储发送了离奇的事情，多个VD上的多个磁盘状态变成了LEFTOVER。
造成的结果是多个VD变成QTOF状态如下 :
# show vd
Name Size Free Own Pref RAID Disks Spr Chk Status Jobs
Serial Number
------------------------------------------------------------------------
vd01 3996.7GB 751.5MB A A RAID5 5 0 64k QTOF
00c0ff10386b0000b519384c00000000
vd02 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000dd19384c00000000
vd03 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL
00c0ff10386b0000f919384c00000000
vd04 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b100002d1a384c00000000
vd05 3996.7GB 751.5MB A A RAID5 5 0 64k QTOF
00c0ff10386b0000c19f554e00000000
vd06 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000ce9f554e00000000
vd07 3996.7GB 751.5MB A A RAID5 5 0 64k QTOF
00c0ff10386b0000da9f554e00000000
vd08 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000fc9f554e00000000
------------------------------------------------------------------------
在执行rescan之后，多个磁盘被找回，VD恢复FTOL。但是vd01上面还是有4块盘是leftover的状态。
根据HP工程师的指导，关闭所有的登录MSA2312FC的WEB页面。然后通过命令行连接到这台msa2312fc。
执行
# trust enable
# trust vdisk vd01
报错
Error: Command failed. (vd01) - Vdisk is not online or fault tolerant. Cannot be trusted.
这下搞得比较崩溃了，HP对CASE做了升级。
新的解决方案出来了。先去WEB页面解除VD01的隔离。如下。
右键点击vd01,选择Tools -> Dequarantine Vdisk
按照指示解除vd01的隔离。
然后去命令行看vd01的状态会变成OFFL
# show vd
Name Size Free Own Pref RAID Disks Spr Chk Status Jobs
Serial Number
------------------------------------------------------------------------
vd01 3996.7GB 751.5MB A A RAID5 5 0 64k OFFL
00c0ff10386b0000b519384c00000000
vd02 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000dd19384c00000000
vd03 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL
00c0ff10386b0000f919384c00000000
vd04 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b100002d1a384c00000000
vd05 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL VRSC 56%
00c0ff10386b0000c19f554e00000000
vd06 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000ce9f554e00000000
vd07 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL VRSC 59%
00c0ff10386b0000da9f554e00000000
vd08 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000fc9f554e00000000
------------------------------------------------------------------------
然后再到命令行执行
# trust vdisk vd01
VD恢复为FTOL状态。
# show vd
Name Size Free Own Pref RAID Disks Spr Chk Status Jobs
Serial Number
------------------------------------------------------------------------
vd01 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL
00c0ff10386b0000b519384c00000000
vd02 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000dd19384c00000000
vd03 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL
00c0ff10386b0000f919384c00000000
vd04 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b100002d1a384c00000000
vd05 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL VRSC 56%
00c0ff10386b0000c19f554e00000000
vd06 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000ce9f554e00000000
vd07 3996.7GB 751.5MB A A RAID5 5 0 64k FTOL VRSC 59%
00c0ff10386b0000da9f554e00000000
vd08 3996.7GB 751.5MB B B RAID5 5 0 64k FTOL
00c0ff1035b10000fc9f554e00000000
------------------------------------------------------------------------
据HP称，这样操作可能导致部分数据丢失，可能指CACHE的脏数据。
另外HP建议观察几天，没有问题的话升级一下固件。
