一个城域范围内实现灾难恢复

一个城域范围内实现灾难恢复备份的具体要点如下：

（1）DWDM

• 在常规情况下，一个企业可以在两个交换机之间通过双互联交换链路 (ISL)，把相距10公里以上的两个站点以单模光纤连接起来，ISL是使用E_Port进行连接的，E_Port是个把两个交换机连接成一个架构的扩展端口；

关于ISL

ISL是英文Inter-switch link的缩写，是用E-port端口将两台SAN交换机连接起来的一种方式。

在进行ISL连接时，请注意以下几点：

第一，使用licenseShow查看交换机是否有fabric许可，如果没有（如：2005-B16等），需要购买Full fabric并激活，注意激活后需要重启交换机才能正常进行ISL级联

关于Fabric

一组规则的总称

第二，确保级联交换机上的端口使用相同类型的SFP模块，并且使用该模块支持的光纤线缆进行连接

第三，ISL级联的交换机，应该有不同的
Domain ID，正常情况下，级联后的SAN交换机会自动将Domain ID协商为不同值。但是，一般建议级联前，手工更改，方法如下：
1）telnet登陆到交换机，使用switchshow查看当前交换机Domain ID，一般默认为1
2）禁用交换机，使用disableSwitch
3）使用configure命令，改变Domain ID，使ISL级联的交换机拥有不同的编号
4）启用交换机，使用enableSwtich

第四，避免zone冲突（zone conflict）。如果两台交换机上配置了zone，ISL级联时需要进行zone融合（zone merge），如果两台交换机zone不匹配，将造成zone冲突（zone conflict），解决zone冲突最直接方法是备份其中一台交换机的配置，然后清除该交换机的zone信息，再级联，具体方法如下
1）使用configUpload上传配置到ftp
2）使用switchDisable，禁用交换机
3）使用cfgDisable，禁用zone的配置文件
4）使用cfgClear，删除zone配置文件
5）使用cfgSave，保存配置
6）使用swtichEnable，启用交换机

第五，级联时，建议使用portDisbale和portEnable命令，禁用和开启端口，避免频繁插拔SFP模块和光纤线导致故障。

第六，如果级联成功，使用switchShow，分别查看两台交换机的级联端口状态为E-port，并且会有Upstream或Downstream信息

• 当两个站点之间的连接端口数量增加或同时有其他的连接接口如 GE/ESCON/FICON等需求时，使用DWDM是一个非常灵活的方式，同时降低了对裸光纤的依赖和物理线路的故障切换难度，提高了租用光纤的利用率和管理的方便性；

关于ESCON、FICON，ESCON和FICON的对比

ESCON和FICON都是与大型主机之间的接口。

一、FICON通道所需的软硬件环境
硬件环境：9672 G5或G6主机系统；z900或z800主机系统
软件环境：在基本模式和逻辑分区模式下运行的OS/390 2.6以上版本或z/OS操作系统；VM 2.3版加上APAR VM62710、VM 2.4版或z/VM操作系统；VSE 2.3以上版本的操作系统

二、与ESCON相比，FICON有许多优势，表现在性能、连接距离、设备地址数目等指标上。
1. FICON在远距离通道的性能方面比ESCON强十倍，这大大提高了对灾难备份应用的支持： 
－ ESCON 通道的数据传输速度明显衰减的距离是9公里；
－ FICON通道距离达到100公里时数据传输速度仅有微小衰减；
2. FICON通道的连接距离比ESCON有明显增长：
－ 在无中继设备的情况下，采用62.5微米多模光纤的ESCON连接的距离是3公里；用50微米多模光纤可以达到2公里。更长距离的连接需要以下支持：
- IBM 9032 ESCON Director；
- IBM 9036 ESCON Remote Channel Extender 或替代产品；
- Dense Wavelength Division Multiplexing (DWDM) 技术或光纤中继器。
－ 在无中继设备的情况下，FICON连接可达10公里；在有中继设备或采用DWDM技术的情况下，FICON连接可以达到20至100公里。
3. FICON 的每个通道比ESCON提供更大的带宽：
－ ESCON通道的最高数据传输速度是每秒17兆字节；
－ FICON 通道的最高数据传输速度超过每秒170兆字节；
4. FICON更有效地利用光纤资源：
－ ESCON提供半双工数据传输；
－ FICON提供全双工数据传输；
5. FICON通道的配置更加灵活：
－ ESCON在数据传输的一个来回中，不支持不同大小的数据块混合传输；
－ FICON在数据传输的一个来回中，支持不同大小的数据块混合传输；
6. FICON对于通道槽位数量有限的系统来说能提供的更多连接：
－ ESCON在单台主机上最多可以有256个相当于ESCON通道的连接；
－ FICON在单台z900主机上最多可以有928个相当于ESCON通道的连接；
9672 G5主机系统上最多可以有256个ESCON通道，或者168个ESCON通道和24个FICON通道；
9672 G6主机系统上最多可以有256个ESCON通道，或者120个ESCON通道和36个FICON通道；
z系列900主机系统上最多可以有256个ESCON通道，或者160个ESCON通道和96个FICON通道；
z系列800主机系统上最多可以有240个ESCON通道，或者32个FICON通道。

7. FICON通道上的每个控制单元同一时刻可以有多个I/O操作，而ESCON通道仅支持同一时刻执行一个I/O操作；
还可以将同一FICON通道上的控制单元定义给不同属性的设备连接（如磁盘和磁带机），而在ESCON通道上这样定义会引起报错；

8. FICON 通道支持的地址数是ESCON的16倍：
－ ESCON单个通道最多支持1024个地址；
－ FICON单个通道最多支持16384个地址；

9. 另外，还有以下潜在的优势：
－ 通过减少光缆数量和延长有效传输距离，客观上保护了客户在ESCON通道上的投资，
－ 由于FICON通道支持16384个设备地址，减少了等待UCB（单元控制块）的时间，因此可以提供了更高的并发访问流量，最终减少了在输入/输出队列中等待时间IOQ。
－ 由于FICON支持单一通道上并发的I/O操作，降低了通道繁忙程度；
－ 由于每个FICON数据包可以容纳更多数据，减少了建立连接和取消连接的时间。

DWDM

光纤网络复用技术—DWDM。我们以一个具体的容灾案例，看DWDM在容灾环境下是怎样工作的。
DWDM的容灾应用
我们看一个简单的典型的SAN环境，我们有2台主机，2台SAN交换机，2台存储，他们可能是HA，也可能是RAC环境，或许是单机，这个现在并不重要。重要的是，这个SAN环境，我们一般都配置在本地，类似一个本地局域网，我们采用一般的光纤线连接就可以搭建这样的一个SAN的环境。

现在，因为业务需求，你必须考虑容灾了，你希望把这两台机器，2台存储分布在不同的机房，而这两个机房相距了10KM以上，如果强行拉开，我们将看到的是这个样子了。

    可以看到，有很多光纤需要被拉的很长，而这样长的光纤，不依靠运营商，一般是自己没有办法拉的。而且，越多的光纤，将带来越大的成本。那么，我们难道就没有一个好的解决办法了吗？还是有的，这个就是DWDM（DenseWavelength-Division Multiplexing，高密度多工分波器）光纤复用技术，根据WDM发展过来的DWDM技术已经被广泛使用多年了，采用DWDM后的SAN结构图将变成这个样子。

DWDM的原理
    由于采用了光纤复用技术，所以长距离的光纤线现在只需要一根了，就是考虑冗余，也只要2根就可以了。而采用了这样的方式以后，整个结构并没有发生变化，你可以认为在那一根光纤线上跑的就是多根你需要的光纤。
    那DWDM是怎么实现的呢？我们先看一个原理图

     简单的说，DWDM其实就是在一根光纤线上采用不同的波长来传递不同的数据，模拟不同的通道，实际看起来就象是不同的光纤在通信，因为只要波长不一样就可以，所以DWDM可以在一根光纤线上随便复用出几十个信道（channels），实验室甚至可以复用出几千个信道。

那么，有了这个东西，通过SAN访问远程存储，就变的很容易了，远程RAC也不再是梦想。实际上，通过这种DWDM技术，然后用卷复制来容灾的技术在国内某银行机构已经正式在使用了。而且，远程RAC，一个新型的容灾计划，即可以实现高可用与负载均衡，又可以实现容灾的方案，也有公司在考虑使用了。

• 可用点对点的方式或者环路方式配置 DWDM设备。一旦主链接不能访问，Cisco的DWDM设备ONS15540/15530均支持自动失效转接到冗余物理链接。在环形拓扑结构中，节点之间仅需要一条链接。如果链路失效，激光将朝相反的方向传输来达到目标;
• 在光纤通道交换机和 DWDM设备之间的ISL连接提供了更大的带宽(达到多个2 Gbps，而非以往的1 Gbps的限制)，在端口汇集方面，SAN交换机可以提供多达16端口，32Gbps带宽的ISL汇集，称为PortChannel；
• 当在 SAN环境里实施虚拟SAN(VSAN)时，可在ISL中把多个VSAN同时传输(Trunking)至远程站点，则ISL使用TE_port进行连接。

（1）FC-IP

电信提供的专线接入，其骨干网一般采用PDH或者SDH协议传输，到达用户端就是2M的E1线路，当然也可直接从高速骨干直接分离出相对高速的线路，如OC3和OC48。
E1线路有自己的编码格式，并不能将电信部门的光纤直接连接现在的FC设备上，因2端的编码方式不同，需要增加协议转移设备。

当然，如果2地距离很近，不妨考虑Internet网络，因如果两地同时接入相同城市的ISP网络，数据包被路由的跳数就不会很高，甚至有可能只经过1跳或者2跳最终用户便会收到。

FC协议映射到IP上，一种是以Tunnel的方式，称FCIP；一种是Map为主的模式，称为IFCP。在FCIP模式中，通信双方各增加一个FCIP网关，任何FC协议的逻辑，哪怕是一个小小的ACK帧，都需要封装到TCP/IP协议中，两端的FC协议处理机不会感知到中间TCP/IP的存在，他们认为对方就是一个纯粹的FC设备。
在iFCP模式中，通信双方各增加一个iFCP网关，GW将FC协议终止在本地，提取Payload数据，对外以TCP/IP设备的形式出现并传输数据，到达对方后，对方的GW再从IP包中提取出Payload，然后将其封装到FC帧中，对其内部以FC设备的形式出现。当一个FC设备需要和远端的FC设备通信，发起Plogin，IFCP GW就向对方建立一条TCP连接，用多条TCP连接不同的IP地址来区分不同的FC设备，此外，还需要保存一个TCP端口或者IP地址对FC设备24bit的Fabric地址映射表。