Asianux 3.0 SP1 下的multipath

Linux下的Multipath:

1.multipath-tools 应该也就是rpm包device-mapper-multipath。主要提供multipathd和multipath等工具和multipath.conf等配置文件。这些工具通过device mapper的ioctr的接口创建和配置multipath设备（调用device-mapper的用户空间库。创建的多路径设备会在/dev/mapper中）。
2.device-mapper.linux device mapper主要包括两大部分：内核部分和用户部分。内核部分主要由device mapper核心（dm.ko）和一些target driver（md-multipath.ko）。核心完成设备的映射，而target根据映射关系和自身特点具体处理从mappered device 下来的i/o。同时，在核心部分，提供了一个接口，用户通过ioctr可和内核部分通信，以指导内核驱动的行为，比如如何创建mappered device，这些divece的属性等。linux device mapper的用户空间部分主要包括device-mapper这个包。其中包括dmsetup工具和一些帮助创建和配置mappered device的库。这些库主要抽象，封装了与ioctr通信的接口，以便方便创建和配置mappered device。multipath-tool的程序中就需要调用这些库。
3.dm-multipath.ko和dm.ko。dm.ko是device mapper驱动。它是实现multipath的基础。dm-multipath其实是dm的一个target驱动。
4.scsi_id 包含在udev程序包中，可以在multipath.conf中配置该程序来获取scsi设备的序号。通过序号，便可以判断多个路径对应了同一设备。这个是多路径实现的关键。scsi_id是通过sg驱动，向设备发送EVPD page80或page83 的inquery命令来查询scsi设备的标识。但一些设备并不支持EVPD 的inquery命令，所以他们无法被用来生成multipath设备。但可以改写scsi_id，为不能提供scsi设备标识的设备虚拟一个标识符，并输出到标准输出。multipath程序在创建multipath设备时，会调用scsi_id，从其标准输出中获得该设备的scsi id。在改写时，需要修改scsi_id程序的返回值为0。因为在multipath程序中，会检查该直来确定scsi id是否已经成功得到。

下面举个实例来说明Asianux 3.0 下面的multipath使用情况：

 

1、启用Multipath：
（1）启动multipathd服务
 #service multipathd start 或者 #/etc/init.d/multipathd start
（2）修改multipath配置文件/etc/multipath.conf：
 a 默认情况下所以的设备都在multipath的黑名单中，所以即使启动了multipathd服务并加在了内核模块，multipath也不会对链路进行聚合，找到下面的3行并注释掉（在行首加上#号）
 devnode_blacklist {
         devnode "*"
 }
 b 默认情况下multipath生成dm设备之后，会同时在/dev/mapper/下生成以磁盘wwid为名的符号链接指向对应的dm设备。如果想生成mpath设备，则需要打开user_friendly_names选项，将配置文件中下面3行的注释取消（去掉行首的#号）
 #defaults {
 # user_friendly_names yes
 #}
（3）重启multipathd服务（修改multipath.conf文件之后都应该重启multipath服务）
（4）扫描磁盘
 #multipath -v2
     使用上面命令之后，系统中会出现链路聚合之后的dm设备，同时也会在/dev/mapper/、/dev/mpath/目录下生成相应的设备。
     查看multipath拓扑结构
 #multipath -ll
     另外一个重要的文件是/var/lib/multipath/bindings，这个文件中是磁盘的别名和wwid的对应关系，典型的例子是：
 mpath0 3600508b4000c3af700008000002d0000
（5）需要注意的问题，multipath也会为本地的磁盘生成相应的dm设备，所以需要在multipath.conf中将本地磁盘加入到黑名单，配置的方法可以参考下面的示例
 devnode_blacklist {
         wwid 36005076b08164f4011ae88b23efb95fe
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
  devnode "^hd[a-z]"
 }
     如上例所示，可以通过wwid或者设备名将本地磁盘加入到黑名单中。
2、固定multipath设备的命名：
通过wwid和设备别名一一对应的方式固定multipath设备的名称，这些和别名对应的设备会被创建到/dev/mapper/目录下，使用时直接使用这个目录的的设备。
（1）通过/var/lib/multipath/bindings可以获取所有磁盘的wwid，确定每个磁盘的别名之后，在/etc/multipath.conf中的multipaths段中加入相应的配置，如将wwid为3600508b4000c3b910000c00000330000的磁盘命名为etl01，wwid为3600508b4000c3b910000c00000390000的磁盘命名为etl02，配置文件如下所示
multipaths {
 multipath {
  wwid 3600508b4000c3b910000c00000330000
  alias etl01
 }
 multipath {
  wwid 3600508b4000c3b910000c00000390000
  alias etl02
 }
}
（2）配置完成之后，重启multipathd服务，使用下面的命令清空已有的multipath记录
 #multipath -F
     然后使用multipath -v2重新扫描设备，这时会在/dev/mapper/目录下生成和别名对应的设备文件。
 #ls /dev/mapper/
 control etl01 eth02
（3）如果多台服务器的存储链路完全相同，并希望各服务器上同一磁盘的设备名相同，可以在一台服务器上配置好别名绑定之后，将multipaths { }中间的配置复制到其他服务器，这样各台服务器/dev/mapper/下面的设备将会保持一致。