存储容灾系统经验

前阵子负责深圳一银行的同城容灾系统。从环境调研到方案设计和项目实施和演练经历了约两个月了。

累死累活，事多人杂，心情不好受。也不想在此述了。

记录下在此次项目中的收获，分享下。

第一，PVID注意事项

平时我们在做PPRC数据复制时，源存储的volume以同步或异步的方式复制到目标存储系统，因为是在存储级做volume的复制，所以源卷和目标卷会是一模一样。包括PVID等信息。（AIX主机识别磁盘根据PVID信息，由于源卷和目标卷通过PPRC复制所以PVID会是一样的。所以在做切换时，请注意：同一时间只允许一组卷出现。要么就是源卷，要么就是目标卷。如不然会出现不可想象的故障。可以通过chhostconnect -volgrp none 0000来设置）

第二，SAN ZONE的设计

生产端和容灾端各两台SAN SWITCH。SAN设计就可能有两种情况，是将生产其中一台与容灾端的一台SAN SWITCH做一个SAN网络，另一对组成另一个SAN；或是四个交换机组成一个SAN？

就这个问题，已经做了测试。确定了使用前者设计方式。主要原因就是fabric manager

第三，freezepprc与unfreezepprc使用。

什么时候用与怎么使用呢，我想应该一般的人都不会理解，即使是做ESS的行内人。发表在这里造福客户，方便技术人员们。

一句话，应用系统不停止时做切换（failoverpprc),将目标卷设置为可用状态（通常PPRC目标卷的状态是不可访问）的时候，failover之前务必freezepprc/unfreezepprc保证数据的一致性。

freezepprc，是暂停I/O操作，所以这时所有的主机的写磁盘操作全部挂起，直到解除。那什么时候 解除，怎么解除呢，就得使用unfreezepprc。所以，操作时一定要在最短的时间内完成操作和业务最不繁忙的时候，当然应用要是能停机当然另当它论。

通常我都是开多个窗口，先把命令复制上去，操作时只按下enter即可，节省时间。

前面说了，做failover前做这个操作，如果不做这步呢，呵呵，应用系统在运行的话，I/O严重停止，慢到你简直受不了。所以如果是停机的情况切换到容灾去跑，可以直接failover，当然 这情况，你做freezepprc/unfreezepprc也不会错。

请注意：freezepprc/unfreezepprc执行后会自动删除pprcpath，因为系统会自动认为你是要准备切换到容灾端运行，就不会再从源存储到目标存储复制了，它就把从源到目标的PPRCPATH给删除了。

freezepprc -dev IBM.2107-75LP471 -remotedev IBM.2107-75MA671 02:12 03:13 04:14 05:15 06:16 07:17 08:18 09:19 0A:1A 0B:1B 0C:1C 0D:1D 0E:1E 0F:1F 30:40 31:41
unfreezepprc -dev IBM.2107-75LP471 -remotedev IBM.2107-75MA671 02:12 03:13 04:14 05:15 06:16 07:17 08:18 09:19 0A:1A 0B:1B 0C:1C 0D:1D 0E:1E 0F:1F 30:40 31:41

CMUC00161I freezepprc: Remote Mirror and Copy consistency group 02:12 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 04:14 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 06:16 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 08:18 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 0A:1A successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 0C:1C successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 0E:1E successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 30:40 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 03:13 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 05:15 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 07:17 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 09:19 successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 0B:1B successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 0D:1D successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 0F:1F successfully created.
CMUC00161I freezepprc: Remote Mirror and Copy consistency group 31:41 successfully created.

CMUC00198I unfreezepprc: Remote Mirror and Copy pair 02:12 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 04:14 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 06:16 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 08:18 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 0A:1A successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 0C:1C successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 0E:1E successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 30:40 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 03:13 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 05:15 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 07:17 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 09:19 successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 0B:1B successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 0D:1D successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 0F:1F successfully thawed.
CMUC00198I unfreezepprc: Remote Mirror and Copy pair 31:41 successfully thawed.

第四，failover操作

 

前面已经提到过failover了。就是为了激活目标存储的卷可读可写，能够正常的被主机访问。请注意，PPRC是有方向的。应该在哪个存储上操作呢，源存储还是目标存储系统？？

 

还是一句话：哪个存储上的卷需要激活为正常被主机访问的状态就在哪个存储上执行failover操作。

 

做了failover后，目标卷就可以被主机访问，源卷本身就能被主机访问。但此时PPRC复制的状态是暂停的。两边的数据会出现不一致。待测试完成后，需要恢复PPRC复制，这时可以执行failback或是resumepprc等恢复PPRC复制。但时，请一定注意此时的复制方向。方向反了的话，，，，，就不说了，都知道了。

 

本文原创，欢迎转载学习用，请注明作者和出处。谢谢！