摘要:
总结近期工作中所掌握的部分关于存储与主机的知识点。曾经只是通过定性的文字描述去了解什么是VG,什么是Vdisk,什么是LV…但这里将通过一则查询实例来加深对文字定义的理解!当前任务为,整理HP存储产品EVA3000磁盘阵列柜和若干HP小型机的映射关系。这里将通过EVA3000中command view结合主机命令工具(bdf、strings、ioscan、vgdisplay、diskinfo、spmgr、ll /dev/* |grep vg、ll /dev/*/group)来完成该任务!首先明确,你必须具有命令工具操作和执行权限,推荐以root用户登陆。
正文:
首先来看,我需要做什么?
存储LUN记录表.xls
应用系统
LUN名称
大小 (GB)
表达主机1
对应盘符
表达主机2
对应盘符
对应VG
控制器
分析记录内容:上述信息将以EVA3000磁盘阵列柜为主
1. LUN名称,我理解为EVA3000中所查到的vdisk名称;
2. 大小(GB),为每个LUN所划分的存储容量,即为每个vdisk存储容量;
3. 表达主机,每个vdisk将表达给不同的主机,即该vdisk只允许被表达的主机识别(可见);
4. 对应盘符,当一个vdisk表达给主机后,在该主机会生成一个对应的设备文件,该设备文件名称即为”对应盘符”,其表现格式为” c12t0d2 ”
5. 对应VG,当一个vdisk表达给主机后,需要在主机建立VG以便与vdisk建立映射关系,每个VG可以包含多个vdisk(即LV),但每个vdisk只允被一个VG所使用。
6. 控制器,手工规定该vdisk将首先通过哪个控制器,且可强行规定该控制器是否与其他控制器互为冗余(Failover/Failback)或仅允许通过单个控制器(only)。
存储配置模版.xls
主机名
卷组
大小(GB)
所含磁盘
卷组号
逻辑卷
逻辑卷大小
挂接点
分析记录内容:上述信息将以HP小型机为主
1. 主机名略
2. 卷组,即VG
3. 大小,每个VG的空间
4. 所含磁盘,该VG所包含的vdisk,在EVA3000中一个独立的vdisk将被系统随机指派到盘柜中任意物理磁盘的任意空间,因而针对EVA3K设备只有逻辑的磁盘概念,不涉及物理的磁盘概念。
5. 卷组号,逻辑卷组号,其表现格式为” 0x020000”
6. 逻辑卷,即LV,个人简单理解为在将VG划分为若干空间(1~255),每一个空间将被理解为一个LV
7. 逻辑卷大小,每个LV的空间
8. 挂接点,将LV所创建的Filesystem挂载与系统 ” / ” 根目录下
了解了我的工作内容后,就开始在EVA3000与HP小机上有目的进行相关信息的查询。
这里所涉及到的概念
1. 命令工具:bdf、strings、ioscan、vgdisplay、diskinfo、spmgr、ll /dev/* |grep vg、ll /dev/*/group
2. 群集中的vglock:简单说用做临时缓冲存储空间,当群集中某一节点发生故障,另一节点接管存储资源时,它们将通过vglock来进行临时的,数据交换,以增强安全性冗余。群集必备
3. Secure Path 工具:很常用的HP小机工具,可以通过GG获取!
4. EVA3000的command view:即查询EVA3K所需的工具
通过EVA3000 command view查看磁盘阵列柜中vdisk的划分,访问EVA3000方法很简单,在浏览器输入存储管理器IP地址即可
用户administrator (默认值)
密码admin+EVA3000序列号倒序排列 (默认值) 如:EVA3000序列号为123ABC,则其密码为”adminCBA321”
[commandView.vDisk.xine.vdisk_ora_data1.Active.General.jpg]
通过上图可以知道,EVA3000中创建了若干vdisk,按其应用将这些vdisk纳入相应组(Flooder),这里将以XINE / Vdisk_ora_data1进行实例分析。
右侧标签”General”中部分常用信息:
1. 该vdisk阵列级别为Vraid1
2. 其容量为300GB
3. 运行状态良好
[commandView.vDisk.xine.vdisk_ora_data1.Active.persentation.jpg]
右侧标签”Persentation”中部分常用信息:
1. 手工规定控制器首选路径为A,且需具备冗余(Failover/Failback 故障转移 / 故障恢复)
2. 表达主机,这里该Vdisk_ora_data1表达给两台主机,分别为xine1、xine2
3. LUN号,需要与主机中的设备文件c*t*d*所对应
[commandView.Hosts.xine2.General.jpg]
这里将看到EVA3K所涉及的相关主机,且Hosts中相关信息将与Virtual Disks信息所对应
右侧标签”General”中部分常用信息:
1. 节点名称即为主机名(hostname)
2. 主机系统类型为HP-ux
[commandView.Hosts.xine2.persentation.jpg]
右侧标签”Persentation”中部分常用信息:
1. 这里可以看到该主机被哪些vdisk所表达,同样可以通过Virtual Disks来对应查看
2. LUN号在主机系统中详细查询具备举足轻重的地位,同样与Virtual Disks中”Persentation”标签中的LUN号所对应
通过命令工具”strings /etc/lvmtab”查看本地主机中的VG数量,其输出结果:
xine2[#/]strings /etc/lvmtab
/dev/vg00
2EFa
/dev/dsk/c2t1d0
/dev/dsk/c2t0d0
/dev/vgdata1
63EIkv
/dev/dsk/c16t0d1
/dev/vgdata2
63EIl[
/dev/dsk/c16t0d2
/dev/vgdata3
63EImT
/dev/dsk/c16t0d3
/dev/vglock
63EIi
/dev/dsk/c16t0d0
这里可以获取主机 xine2中vgdata1的对应盘符 c16t0d1
vg00为本地主机磁盘
每个vg可以包含多个vdisk,譬如:
/dev/vgdata1
/dev/dsk/c16t0d1
/dev/dsk/c16t0d2
上述实例即为vgdata1对用两个vdisk,其分别为c16t0d1、c16t0d2,在这里d1和d2中的数字1和2通常对应EVA3000的command view >> 某vidsk >> Persentation 中的LUN号。可以参考[commandView.Hosts.xine2.persentation.jpg]
通过命令工具“ll /dev/*/ |grep vg“或“ ll /dev/*/group“查询卷组号,这里推荐使用第2种方法,因为第1种方法局限性比较强,假设VG命名中不包含字符串“vg“则不能显示正确结果。其输出结果:
xine2[#/] ll dev/*/group
crw-r----- 1 root sys 64 0x000000 Oct 31 04:53 dev/vg00/group
crw-rw-rw- 1 root sys 64 0x020000 Nov 8 22:03 dev/vgdata1/group
crw-rw-rw- 1 root sys 64 0x030000 Nov 8 22:06 dev/vgdata2/group
crw-rw-rw- 1 root sys 64 0x040000 Nov 8 22:07 dev/vgdata3/group
crw-rw-rw- 1 root sys 64 0x010000 Nov 8 22:07 dev/vglock/group
通过命令工具” bdf ”读取文件系统列表与对应挂载点,其输出结果:
xine2[#/]bdf
Filesystem kbytes used avail %used Mounted on
/dev/vg00/lvol3 4194304 99192 4063744 2% /
/dev/vg00/lvol1 511672 50056 410448 11% /stand
/dev/vg00/lvol8 6291456 759464 5488840 12% /var
/dev/vg00/lvol7 4194304 1686008 2488760 40% /usr
/dev/vg00/lvol4 6291456 3150720 3116936 50% /tmp
/dev/vg00/lv_orainstall
4096000 3490507 568576 86% /orainstall
/dev/vg00/lv_oracle
20480000 3366464 16846160 17% /oracle
/dev/vg00/lvol6 5242880 1680776 3534312 32% /opt
/dev/vg00/lvol5 6291456 2614656 3648128 42% /home
/dev/vgdata1/lv_data1
307232768 75154544 230265152 25% /oradata1
/dev/vgdata2/lv_data2
307232768 22196624 282809320 7% /oradata2
/dev/vgdata3/lv_data3
307232768 11680 304820936 0% /oradata3
在LV上创建FS无须指明LV,且创建的FS名称与LV名称对应,同时加深一个概念,即
1个LV只能创建1个FS;
1个FS可以有多个挂载点;
1个FS同时只能Mount到1个Point;
其实这里还可以通过”kbytes”获取该文件系统大小(即LV大小)
通过命令工具”vgdisplay -v”查询VG详细信息,包括VG名称,VG中创建的LV数量,LV名称、LV大小、PV名称以及VG、LV、PV状态等信息
这里以vgdata1为例,其输出结果:
xine2[#/]vgdisplay -v vgdata1
--- Volume groups ---
VG Name /dev/vgdata1 #VG名称
VG Write Access read/write
VG Status available, exclusive #VG状态
Max LV 255
Cur LV 1
Open LV 1
Max PV 16
Cur PV 1
Act PV 1
Max PE per PV 4799
VGDA 2
PE Size (Mbytes) 64
Total PE 4799
Alloc PE 4688
Free PE 111
Total PVG 0
Total Spare PVs 0
Total Spare PVs in use 0
--- Logical volumes ---
LV Name /dev/vgdata1/lv_data1 #LV名称,这里仅创建了一个LV
LV Status available/syncd #LV状态
LV Size (Mbytes) 300032 #LV大小,以兆为单位
Current LE 4688
Allocated PE 4688
Used PV 1
--- Physical volumes ---
PV Name /dev/dsk/c16t0d1 #PV名称,该VG仅包含一个PV
PV Status available #PV状态
Total PE 4799
Free PE 111
Autoswitch On
下面将利用一些辅助工具来协助特殊情况下信息查询。
特殊实例 1
卷组
大小(GB)
所含磁盘
卷组号
逻辑卷
逻辑卷大小
挂接点
/dev/DMSVG/
200
200
c8t0d0
c8t0d1
0x020000
/dev/DMSVG/sdbdata
204800MB
/dmsdata
/dev/DMSVG/interface
20000MB
/interface
/dev/DMSVG/sdblog
2048MB
/dmslog
特殊实例 2
卷组
大小(GB)
所含磁盘
卷组号
逻辑卷
逻辑卷大小
挂接点
/dev/R3DDATVG/
40
c12t0d6
0x010000
/dev/R3DDATVG/sapdata
102368MB
/dev/R3DDATVG/sapdata
60
c12t0d3
/oracle/R3D/sapdata
应用”strings /etc/lvmtab”发现该VG对应两个vdisk,在系统中会出现两个虚拟设备文件名称,但要具体分析两个设备文件所对应vdisk的容量,则需:
首先利用上面介绍的方法分析”R3DDATVG”所包含的磁盘,其输出结果:
# strings /etc/lvmtab
/dev/vg00
/dev/dsk/c1t2d0
/dev/R3DDATVG
/dev/dsk/c12t0d3
/dev/dsk/c12t0d6
/dev/R3DLOGVG
/dev/dsk/c12t0d4
/dev/R3DSAPVG
/dev/dsk/c12t0d5
/dev/R3DBACKUP
/dev/dsk/c2t2d0
通过上述信息分别列出R3DDATVG中包含的磁盘,分别用黄色标记
利用 ”ioscan -fnCdisk” 分析主机与EVA3K通信的磁盘设备文件,其输出结果:
# ioscan -fnCdisk
Class I H/W Path Driver S/W State H/W Type Description
===========================================================================
disk 0 0/0/1/1.2.0 sdisk CLAIMED DEVICE HP 73.4GST373453LC
/dev/dsk/c1t2d0 /dev/rdsk/c1t2d0
disk 1 0/0/2/0.2.0 sdisk CLAIMED DEVICE HP 73.4GST373453LC
/dev/dsk/c2t2d0 /dev/rdsk/c2t2d0
disk 2 0/0/2/1.2.0 sdisk CLAIMED DEVICE HP DVD-ROM 305
/dev/dsk/c3t2d0 /dev/rdsk/c3t2d0
disk 10 0/10/0/0.97.24.255.1.3.0 sdisk CLAIMED DEVICE IBM 1722-600
/dev/dsk/c18t3d0 /dev/rdsk/c18t3d0
disk 11 0/12/0/0.97.35.255.1.3.0 sdisk CLAIMED DEVICE IBM 1722-600
/dev/dsk/c19t3d0 /dev/rdsk/c19t3d0
disk 6 255/255/0/0.3 sdisk CLAIMED DEVICE HSV100 HP
/dev/dsk/c12t0d3 /dev/rdsk/c12t0d3
disk 7 255/255/0/0.4 sdisk CLAIMED DEVICE HSV100 HP
/dev/dsk/c12t0d4 /dev/rdsk/c12t0d4
disk 8 255/255/0/0.5 sdisk CLAIMED DEVICE HSV100 HP
/dev/dsk/c12t0d5 /dev/rdsk/c12t0d5
disk 9 255/255/0/0.6 sdisk CLAIMED DEVICE HSV100 HP
/dev/dsk/c12t0d6 /dev/rdsk/c12t0d6
通过上述信息可以确认该主机识别到EVA3K中4个vdisk,其设备文件名分别用黄色标注
利用 “ diskinfo “ 查看c12t0d3和c12t0d6空间,其输出结果:
# diskinfo /dev/rdsk/c12t0d3
SCSI describe of /dev/rdsk/c12t0d3:
vendor: HP
product id: HSV100
type: direct access
size: 62914560 Kbytes
bytes per sector: 512
# diskinfo -v /dev/rdsk/c12t0d6
SCSI describe of /dev/rdsk/c12t0d6:
vendor: HP
product id: HSV100
type: direct access
size: 41943040 Kbytes
bytes per sector: 512
rev level: 3020
blocks per disk: 83886080
ISO version: 0
ECMA version: 0
ANSI version: 2
removable media: no
response format: 2
(Additional inquiry bytes:
通过上述信息可以确认c12t0d3空间容量60GB,c12t0d6空间容量40GB
Spmgr工具的辅助分析:
xine2[#/]spmgr display
Server: xine2 Report Created: Tue, Mar 27 16:45:09 2007
Command: spmgr display
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
Storage: 5000-1FE1-5004-B860
Load Balance: Off Auto-restore: Off
Path Verify: On Verify Interval: 30
HBAs:fcd0 fcd1
Controller: P66C5E2AAQU01A, Operational
P66C5E2AAQS015, Operational
Devices: c16t0d0 c16t0d1 c16t0d2 c16t0d3
TGT/LUN Device WWLUN_ID H/W_Path #_Paths
0/ 0 c16t0d0 6005-08B4-0010-2540-0001-D000-0057-0000 4
255/255/0/0.0
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQU01A no
c12t0d1 fcd0 no Standby
c13t0d1 fcd1 no Standby
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQS015 no
c14t0d1 fcd0 no Active
c15t0d1 fcd1 no Available
TGT/LUN Device WWLUN_ID H/W_Path #_Paths
0/ 1 c16t0d1 6005-08B4-0010-2540-0001-D000-005E-0000 4
255/255/0/0.1
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQU01A YES
c12t0d2 fcd0 no Standby
c13t0d2 fcd1 no Standby
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQS015 no
c14t0d2 fcd0 no Active
c15t0d2 fcd1 no Available
TGT/LUN Device WWLUN_ID H/W_Path #_Paths
0/ 2 c16t0d2 6005-08B4-0010-2540-0001-D000-0061-0000 4
255/255/0/0.2
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQU01A no
c12t0d3 fcd0 no Standby
c13t0d3 fcd1 no Standby
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQS015 YES
c14t0d3 fcd0 no Active
c15t0d3 fcd1 no Available
TGT/LUN Device WWLUN_ID H/W_Path #_Paths
0/ 3 c16t0d3 6005-08B4-0010-2540-0001-D000-0064-0000 4
255/255/0/0.3
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQU01A YES
c12t0d4 fcd0 no Active
c13t0d4 fcd1 no Available
Controller Path_Instance HBA Preferred? Path_Status
P66C5E2AAQS015 no
c14t0d4 fcd0 no Standby
c15t0d4 fcd1 no Standby