猝然临之而不惊,无故加之而不怒。
分类: LINUX
2012-03-23 15:14:00
首先,要配置EVA4400阵列。
通过管理接口登陆EVA4400,默认用户名admin,默认密码无。
登陆完成后,需要创建虚拟磁盘(virtual disk)和主机(host).具体怎么设置,请查看我的另外一篇文章。
在创建主机过程中,主机要帮定linux服务器的HBA卡(光纤接口卡,安装在服务器的PCI插槽)的wwnn号,这个号可以成为HBA卡的唯一标识号,跟网卡的MAC地址差不多。把这个wwnn号,绑定在EVA4400系统内创建的主机上,是不是就可以通过wwnn号判断接的是哪台服务器啦。(某些服务器带双HBA卡,一根线路不能使用,会自动切到另外一根。)
在创建虚拟磁盘后,要把虚拟磁盘分配给主机把,这个通过present实现,在这个过程里,就是我们说的绑定lun。lun是个什么东东呢,比如我2个虚拟磁盘分配给host1,那么一个磁盘可以绑定到lun1,一个磁盘绑定到lun2。lun其实就是个标示磁盘的东东。
好了,,,EVA设置好之后,如果线路不出问题,那么我们在服务器Linux操作系统下,fdisk -l ,,,会看到增加了很多磁盘。如果是双HBA卡,应该能看到偶数个磁盘。
好啦,,,如果能看到增加的磁盘,说明EVA设置就没有问题啦。
如果是单HBA卡,那么就不需要做多路径绑定了,直接像普通硬盘那样分区,挂载,使用。
如果是双HBA卡,那么我们要做多路径绑定(链路聚合),multipath。 这个东东是做什么的呢?这个软件是判断数据从哪个光纤连到磁阵传输数据的,如果一条光纤断了,那么会自动切换到另外一根光纤。
=================================================================
我们说说如何配置multipath
在 rhel5中,好像默认已经带multipath了,不需要安装。他的服务名叫multipathd
我们在linux操作系统下执行,multipath -v3。
如果出现path list ,那么multipath 应该就没什么问题了。正常情况如下:
===== paths list =====
uuid hcil dev dev_t pri dm_st chk_st vend/pr
36001438009b012de0000500000310000 2:0:0:1 sda 8:0 50 [undef][ready] HP,HSV3
36001438009b012de0000500000360000 2:0:0:2 sdb 8:16 10 [undef][ready] HP,HSV3
36001438009b012de0000500000310000 2:0:1:1 sdc 8:32 10 [undef][ready] HP,HSV3
36001438009b012de0000500000360000 2:0:1:2 sdd 8:48 50 [undef][ready] HP,HSV3
36001438009b012de0000500000310000 3:0:0:1 sde 8:64 50 [undef][ready] HP,HSV3
36001438009b012de0000500000360000 3:0:0:2 sdf 8:80 10 [undef][ready] HP,HSV3
36001438009b012de0000500000310000 3:0:1:1 sdg 8:96 10 [undef][ready] HP,HSV3
36001438009b012de0000500000360000 3:0:1:2 sdh 8:112 50 [undef][ready] HP,HSV3
这里可以看到36001438009b012de0000500000310000,36001438009b012de0000500000360000
这里2串数字如果需要手工做绑定的话,需要记录下来。
如果path list没有怎么办呢。
编辑 /etc/multipath.conf
我们看到一部份,如下
blacklist {
devnode "^c0d0"
}
这个就是说把哪些磁盘不计入multipath,即multipath在做聚合的时候屏蔽这些磁盘。一般这个厘米属于本地磁盘。
因为我的本地磁盘名称是
Disk /dev/cciss/c0d0: 293.5 GB, 293563949056 bytes
255 heads, 63 sectors/track, 35690 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/cciss/c0d0p1 * 1 13 104391 83 Linux
/dev/cciss/c0d0p2 14 2053 16386300 82 Linux swap / Solaris
/dev/cciss/c0d0p3 2054 35690 270189202+ 83 Linux
所以,我在这里屏蔽以 c0d0开头的磁盘。 ^c0d0
在这些做好后,multipath -ll,应该就可以看到聚合链路的信息了。multipath -v3也可以看到path list信息了。
做好后,我们应该会在/dev/mapper目录中发现mpath0 mpath1,类似的命名。这些就是我们映射过来的虚拟磁盘了。如果看不到,执行multipath -F ,清空multipath 的信息,重新计算 聚合路径。
至此,multipath 设置好了,剩下的就跟普通硬盘一样了。
==================================================================
制作LVM
pvcreat /dev/mapper/mpath0
pvcreat /dev/mapper/mpath0
pvdisplay ,显示制作的 物理盘
[root@nissanweb3 /]# pvdisplay
--- Physical volume ---
PV Name /dev/dm-3
VG Name www
PV Size 600.00 GB / not usable 3.93 MB
Allocatable yes (but full)
PE Size (KByte) 4096
Total PE 153599
Free PE 0
Allocated PE 153599
PV UUID lduJUm-DWGu-gfz4-IYXo-mst9-e1N9-N9gO1c
--- Physical volume ---
PV Name /dev/dm-2
VG Name app
PV Size 200.00 GB / not usable 1.34 MB
Allocatable yes (but full)
PE Size (KByte) 4096
Total PE 51199
Free PE 0
Allocated PE 51199
PV UUID ANQfeE-2eJH-cjMq-Ol55-a0hp-23dM-vTBTOm
-------------------------------------------------------------------------
vgcreat www /dev/dm-3 创建名叫www的卷组 ,对应dm-3物理盘
vgcreat app /dev/dm-2 创建名叫app的卷组 ,对应dm-2物理盘
vgdisplay 显示
--- Volume group ---
VG Name www
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 2
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size 600.00 GB
PE Size 4.00 MB
Total PE 153599
Alloc PE / Size 153599 / 600.00 GB
Free PE / Size 0 / 0
VG UUID T9vssb-udUg-Mcjb-aUOe-3cVj-nqgB-vHTZc3
--- Volume group ---
VG Name app
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 2
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 1
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size 200.00 GB
PE Size 4.00 MB
Total PE 51199
Alloc PE / Size 51199 / 200.00 GB
Free PE / Size 0 / 0
VG UUID fdrG5P-DI3W-tgmG-NHx3-lzBa-7m4v-5lqAyg
-----------------------------------------------------------------------------------------------
lvcreat -l 153599 -n lv0 www 在www卷创建153599个PE 那么大的逻辑盘lv0
lvcreat -l 51199 -n lv0 app 在www卷创建51199个PE 那么大的逻辑盘lv0
我这里是所有的PE全部分配,使用PE分配全部磁盘比较准确,也可以用G,M等进行大小分配,清查询LVM文档
lvdisplay
--- Logical volume ---
LV Name /dev/www/lv0
VG Name www
LV UUID wj5FOs-zSIC-OnXF-qoZf-qhkx-rjva-oA2nai
LV Write Access read/write
LV Status available
# open 1
LV Size 600.00 GB
Current LE 153599
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 253:4
--- Logical volume ---
LV Name /dev/app/lv0
VG Name app
LV UUID 5ZrpNP-3X8P-5YKx-XnLy-wk0b-0eZg-A93BVx
LV Write Access read/write
LV Status available
# open 1
LV Size 200.00 GB
Current LE 51199
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 253:5
-------------------------------------------------------------------------------------
mkfs.ext3 /dev/www/lv0
mkfs.ext3 /dev/app/lv0
这里时间比较长,输入命令后就等吧 。格式化磁盘。
---------------------------------------------------------------------------------------
挂载
我直接保存的 fstab
内容如下
LABEL=/ / ext3 defaults 1 1
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
/dev/www/lv0 /www ext3 defaults 0 0
/dev/app/lv0 /app ext3 defaults 0 0
LABEL=SW-cciss/c0d0p2 swap swap defaults 0 0
标粗的就是我们对应的磁盘挂载设置。
配置完 /etc/fstab文件后,执行mount -a ,对fstab中所有的设置进行挂载。
那么磁盘阵列就设置完成了。