服务器故障&检测&分析:
HP EVA存储设备中的RAID5磁盘有两块硬盘掉线,lun丢失。硬件工程师对故障服务器进行物理故障检测,发现掉线硬盘能够正常读取,无物理故障,也没有发现坏道。
故障服务器掉线硬盘没有物理故障,所以掉线极有可能是硬盘读写不稳定造成的。EVA控制会将读写不稳定的硬盘默认为坏盘并踢出。raid5冗余允许{BANNED}最佳大掉线硬盘的数量是2,掉线的硬盘超过了2块就会导致服务器崩溃。
通过分析故障服务器内raid条目的存储形式,发现每个硬盘的不同块组成一个raid条目。通过分析后解析出来raid条目信息,发现每个LUN都有一份LUN_MAP。由于EVA将LUN_MAP分别存放在不同的磁盘中,用一个索引来指定其位置,因此在磁盘中找出这个指定LUN_MAP位置的索引就可以找到现存LUN的信息。
服务器数据恢复过程:
1、将故障存储中所有硬盘连接到北亚企安数据恢复平台上,以只读方式将硬盘数据镜像备份,后续的数据分析和数据恢复操作都基于镜像文件进行,避免对原始数据造成二次破坏。
2、通过故障分析确定硬盘掉线的原因是读写不稳定,被控制器踢出掉线。这些掉线的硬盘中有一部分数据是老旧数据,LUN使用的是RAID5,只需要将一个LUN的RAID条目通过RAID5的校验算法算出校验值,再和原有的校验值做比较就可以判断这个条目中是否有掉线盘。
将一个LUN的所有LUN_MAP都校验一遍就可以知道这个LUN中的哪些RAID条目中有掉线盘。在这些RAID条目中都存在的那个盘就一定就是掉线盘。排除掉线盘后根据LUN_MAP即可恢复所有LUN的数据。由北亚企安数据恢复工程师编写相对应程序来实现这个方案,根据编写好的程序去实现不同的功能:
a、编写程序扫描全部LUN_MAP,结合人工分析获取到LUN_MAP。
b、编写检测RAID条目的程序检测所有LUN中掉线的磁盘,结合人工分析排除掉线的磁盘。
c、编写LUN数据恢复程序,结合LUN_MAP恢复所有LUN数据。
恢复出所有LUN的数据后由人工核对每个LUN,验证是否和用户方工程师描述的一致。
3、根据用户方工程师描述,所有LUN的数据可以分成两部份:1、Vmware的虚拟机;2、HP-UX上的裸设备,裸设备存放Oracle的dbf数据库。由于通过恢复出来的LUN无法看到里面的文件,因此需要人工核对哪些LUN是存放Vmware的数据,哪些LUN是HP-UX上的裸设备。核对完成后将不同的LUN挂载到不同的验证环境中进行验证。
4、将所有存放vmware虚拟机数据的LUN里面的虚拟机文件都生成出来,通过NFS共享的方式挂载到虚拟主机上,然后将虚拟机一个一个添加到清单。所有虚拟机加电开机后都能启动系统。用户方工程师亲自对虚拟机里面的数据进行验证没有发现问题。本次数据恢复工作完成。
服务器数据安全Tips:
1、定期巡查服务器&存储设备,发现报警及时处理。
2、操作要谨慎,避免误操作导致设备数据丢失。
3、如果发现EVA控制器模块不稳定,应当及时更换。
4、本案例中的EVA存储故障是由磁盘读写不稳定导致的,如果EVA存储中所有磁盘(掉线和没有掉线的)是同一批次,这些没有掉线的磁盘也应该快到极限,如果有条件建议更换掉这批磁盘。
阅读(178) | 评论(0) | 转发(0) |