IBM PowerVM 实战手册 第 3 部分 : VIO server 配置及微分区的实施

2009 年 2 月 19 日

本文结合作者几年来对 IBM 虚拟化微分区的成熟经验，并以宝信实验室的 2 台 55A 的实际部署，论述了 IBM 的 PowerVM 虚拟化服务的详细过程，对有兴趣和开始实施 PowerVM 的同仁相信有很大的帮助。

VIO server 为有限制的 AIX 操作系统，不允许 root 登录，用户名为 padmin，缺省口令无。

通过 oem_setup_env 进入 AIX 的环境，可以很方便的使用我们熟悉的 AIX 命令达到大多数操作相同的效果，下面会混合使用 2 个环境的命令。

第一次开启 VIO server，利用 oem_setup_env 进入 AIX 环境必须接受 license 许可。

login: padmin  
$ oem_setup_env 
The I/O Server license must be accepted before running this command. 
Only the chlang command may be run before accepting the license. 
To view the license, run the license command with the -view option. 
If the -lang flag is not specified the license will be displayed in 
the current locale (set by the chlang command). If the license is not 
available in the language selected, English will be the default. 
To accept the license, run the license command with the -accept option. 
 
Locale currently set to: "en_US". 
 
Usage: license {[-view] [-accept]} [-lang Name] 
 license [-ls] 
 
。。。。。 
 
 
$ license -accept  

在 oem_setup_env 的 AIX 环境下

先建立 2 个 VG，供各个微分区的 rootvg 共享使用 ( 磁盘位置请参考前面的实验环境说明 )

mkvg -y 55aa01_rootvg1  hdisk2

mkvg -y 55aa01_rootvg2 hdisk19

[ss55aa01][padmin][/home/padmin]#lspv

NAME PVID VG STATUS

hdisk0 000826ef27028dfe rootvg active

hdisk1 000826efbaa78248 rootvg active

hdisk2 000826ef415056f8 55aa01_rootvg1 active

...

hdisk19 000826ef41503876 55aa01_rootvg2 active

建立 20 个 lv，每个微分区 2 个，可用来做镜像

mklv -y rootvg1_55a11 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a12 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a13 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a14 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a15 -t jfs2 55aa01_rootvg1 20G
...
...
...
mklv -y rootvg2_55a15 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a16 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a17 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a18 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a19 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a20 -t jfs2 55aa01_rootvg2 20G

这样各个分区 rootvg 的准备工作完成，接下来要实际映射到各个微分区。

先执行 exit 退出 oem_setup_env 的 AIX 环境。

padmin 环境下建立 vdev

先察看以下 vhost 的虚拟 scsi 卡对应各个微分区是否如设计

[ss55aa01][padmin][/home/padmin]#lsmap -all|grep vhost 
vhost0 U9133.55A.069511H-V2-C111 0x00000000
vhost1 U9133.55A.069511H-V2-C112 0x00000000
vhost2 U9133.55A.069511H-V2-C121 0x00000000
...
vhost17 U9133.55A.069511H-V2-C192 0x00000000
vhost18 U9133.55A.069511H-V2-C201 0x00000000
vhost19 U9133.55A.069511H-V2-C202 0x00000000

建立各个虚拟存储设备，将微分区 rootvg 映射到各个预先建立的 lv 上，如对于 ss55aa11 这个微分区，建立一个 rootvg1_55a11 将 55a11_rootvg1 这个 lv 映射到 vhost0 上，即 ss55aa11 上的一块 scsi 卡上，从而使得 ss55aa11 这个微分区能认出这块虚拟磁盘来。

mkvdev -vdev rootvg1_55a11 -vadapter vhost0 -dev 55a11_rootvg1
mkvdev -vdev rootvg1_55a12 -vadapter vhost2 -dev 55a12_rootvg1
mkvdev -vdev rootvg1_55a13 -vadapter vhost4 -dev 55a13_rootvg1
mkvdev -vdev rootvg1_55a14 -vadapter vhost6 -dev 55a14_rootvg1
mkvdev -vdev rootvg1_55a15 -vadapter vhost8 -dev 55a15_rootvg1
mkvdev -vdev rootvg1_55a16 -vadapter vhost10 -dev 55a16_rootvg1
mkvdev -vdev rootvg1_55a17 -vadapter vhost12 -dev 55a17_rootvg1
mkvdev -vdev rootvg1_55a18 -vadapter vhost14 -dev 55a18_rootvg1
...
...
...
mkvdev -vdev rootvg2_55a14 -vadapter vhost7 -dev 55a14_rootvg2
mkvdev -vdev rootvg2_55a15 -vadapter vhost9 -dev 55a15_rootvg2
mkvdev -vdev rootvg2_55a16 -vadapter vhost11 -dev 55a16_rootvg2
mkvdev -vdev rootvg2_55a17 -vadapter vhost13 -dev 55a17_rootvg2
mkvdev -vdev rootvg2_55a18 -vadapter vhost15 -dev 55a18_rootvg2
mkvdev -vdev rootvg2_55a19 -vadapter vhost17 -dev 55a19_rootvg2
mkvdev -vdev rootvg2_55a20 -vadapter vhost19 -dev 55a20_rootvg2

建立 datavg

同理，建立各个微分区的 datavg，但这里使用磁盘直接对应的，而非 lv，但命令使用方法并无不同：

mkvdev -vdev hdisk3 -vadapter vhost0 -dev 55a11_datavg1
mkvdev -vdev hdisk4 -vadapter vhost2 -dev 55a12_datavg1
mkvdev -vdev hdisk5 -vadapter vhost4 -dev 55a13_datavg1
mkvdev -vdev hdisk6 -vadapter vhost6 -dev 55a14_datavg1
mkvdev -vdev hdisk7 -vadapter vhost8 -dev 55a15_datavg1
mkvdev -vdev hdisk8 -vadapter vhost10 -dev 55a16_datavg1
mkvdev -vdev hdisk9 -vadapter vhost12 -dev 55a17_datavg1
mkvdev -vdev hdisk10 -vadapter vhost14 -dev 55a18_datavg1
mkvdev -vdev hdisk11 -vadapter vhost16 -dev 55a19_datavg1
mkvdev -vdev hdisk12 -vadapter vhost18 -dev 55a20_datavg1

注意 :tempvg 没有加以处理，分配方法一致，留待以后分配

检查一下结果：

[ss55aa01][padmin][/home/padmin]#lsmap -all
SVSA Physloc Client Partition ID
--------------- -------------------------------------------- ------------------
vhost0 U9133.55A.069511H-V2-C111 0x00000003

VTD 55a11_datavg1
Status Available
LUN 0x8200000000000000
Backing device hdisk3
Physloc U787B.001.DNWGNVK-P1-C3-T2-W2148000B5D6A02AA-L1000000000000

VTD 55a11_rootvg1
Status Available
LUN 0x8100000000000000
Backing device rootvg1_55a11
Physloc 
.....

SVSA Physloc Client Partition ID
--------------- -------------------------------------------- ------------------
vhost18 U9133.55A.069511H-V2-C201 0x00000000

VTD 55a20_datavg1
Status Available
LUN 0x8200000000000000
Backing device hdisk12
Physloc U787B.001.DNWGNVK-P1-C3-T1-W2149000B5D6A02AA-LA000000000000

VTD 55a20_rootvg1
Status Available
LUN 0x8100000000000000
Backing device rootvg1_55a20
Physloc 

SVSA Physloc Client Partition ID
--------------- -------------------------------------------- ------------------
vhost19 U9133.55A.069511H-V2-C202 0x00000000

VTD 55a20_rootvg2
Status Available
LUN 0x8100000000000000
Backing device rootvg2_55a20
Physloc 
至此，每个微分区的 rootvg，datavg 已映射完成。

1. 按前面设计，先察看以下网卡状况，看看通过 profile 设置，启动后是否如设计：

[ss55aa01][padmin][/home/padmin]#lsdev -Cc adapter
ent0 Available 07-08 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent1 Available 07-09 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent2 Available 09-08 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent3 Available 09-09 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent4 Available Virtual I/O Ethernet Adapter (l-lan)
ent5 Available Virtual I/O Ethernet Adapter (l-lan)
ent6 Available Virtual I/O Ethernet Adapter (l-lan)
ent7 Available Virtual I/O Ethernet Adapter (l-lan)
 [ss55aa01][padmin][/home/padmin]#lscfg -vpl ent4
 ent4 U9133.55A.069511H-V2-C11-T1 Virtual I/O Ethernet Adapter (l-lan)

 Network Address.............9EBF8000200B
 Displayable Message.........Virtual I/O Ethernet Adapter (l-lan)
 Hardware Location Code......U9133.55A.069511H-V2-C11-T1


 PLATFORM SPECIFIC

 Name: l-lan
 Node: l-lan@3000000b
 Device Type: network
 Physical Location: U9133.55A.069511H-V2-C11-T1
。。。。
[ss55aa01][padmin][/home/padmin]#lscfg -vpl ent7
 ent7 U9133.55A.069511H-V2-C14-T1 Virtual I/O Ethernet Adapter (l-lan)

 Network Address.............9EBF8000200E
 Displayable Message.........Virtual I/O Ethernet Adapter (l-lan)
 Hardware Location Code......U9133.55A.069511H-V2-C14-T1

2. 将实际物理网卡加以聚合，做成 enternet chanel 网卡

mkvdev -lnagg ent0,ent2
mkvdev -lnagg ent1,ent3

可以看到新生成了 ent8，ent9

ent8 Available EtherChannel / IEEE 802.3ad Link Aggregation
ent9 Available EtherChannel / IEEE 802.3ad Link Aggregation

3. 建立虚拟 sea 网卡，将聚合的 enternet chanel 网卡和虚拟网卡勾连起来，注意 VLAN 的 ID 设置要按设计和微分区设置一致：

mkvdev -sea ent8 -vadapter ent4 -default ent4 -defaultid 1
mkvdev -sea ent9 -vadapter ent5 -default ent5 -defaultid 98

 [ss55aa01][padmin][/home/padmin]#lsdev -Cc adapter
...
ent8 Available EtherChannel / IEEE 802.3ad Link Aggregation
ent9 Available EtherChannel / IEEE 802.3ad Link Aggregation
ent10 Available Shared Ethernet Adapter
ent11 Available Shared Ethernet Adapter

可以看到生成了 ent10，ent11 这两个共享虚拟网卡。

至此，微分区需使用的共享网卡设置完成。

4. 设置 ip 地址，供远程访问 VIO server 使用，这个设置其实和微分区无关。

mktcpip -hostname ss55aa01 -inetaddr 10.25.76.197 -interface en10 -netmask 255.255.255.0
-gateway 10.66.76.254
[ss55aa01][padmin][/home/padmin]#netstat -in
Name Mtu Network Address Ipkts Ierrs Opkts Oerrs Coll
en10 1500 link#2 0.1a.64.ff.10.d6 1192509 0 35721 0 0
en10 1500 10.25.76 10.25.76.197 1192509 0 35721 0 0
。。。。。

至此，VIO server 的配置完成。

回页首

除 CPU 设置为共享，设置虚拟 CPU 外，其他和划分普通分区类同，确认结果如下：

CPU 确认：

内存配置确认：

设备确认，注意，这里由于设备均为共享 VIO server，所以没有选择任何设备，实际配置可以根据实际情况选择，如分区配 HA 时有 2 块串口卡，可以选择。

按照设计，配置网卡 scis 卡，注意对应关系

网卡配置，请参照设计阅读此处，4、5 为一个 VLAN。

6、7 为另一个 VLAN，另一个网段。

回页首

微分区的安装和配置和普通的分区没有什么本质的区别，但此处由于使用了 VIO server 需要注意网卡和硬盘都是虚拟出来的，VIO server 如果没有激活，这些设备都会找不到。

回页首

就 VIO server 和微分区本身来讲，配置并不复杂，但有以下几点需要注意：

1. 预先的规划和设计却非常重要，如果概念不清楚，配置的正确性无法保证，可用性和可靠性自然难以保证。尤其是 VIO server 的设计，由于相关分区的 I/O 需要通过此分区，所以一定要考虑确认清楚再动手实施。
2. 配置完成后，需要密切监控 VIO server 和各个微分区的性能情况，及时加以调整，以达到最优的运行状态。
3. 以往的经验，Power5 的 PLM 并不好用，在 Power6 已淘汰，由 Power6 的 Multiple Shared Processor Pools 等功能替代，但对内存的使用似乎还没有有效的动态调整手段，建议还是利用 nmon 等工具密切监视，及时加以手工调整。