Sun E10K 域之间硬件资源移动实例

转自Simon的BLOG：http://blog.sina.com.cn/u/45d51ebc010003js

 

在E10K域之间移动一个或多个硬件资源都需要将源域和目标域重新创建（最简单可行的办法）,这意味着需要先将两个域删除,然后变更域的硬件资源,最后根据新的配置创建域,这些动作不会影响到域中已安装的操作系统和数据.由于E10K系统板同IO模块集成,如果在硬件资源移动后不需要IO模块或其它部件,可通过黑名单将其屏蔽.

以下将以一个实际的例子来说明.
E10K-CAT(平台名称)包括四个域:cat-domain1-4,各域的硬件配置如下:
cat-mssp-qfe2:E10K-CAT% domain_status
DOMAIN TYPE PLATFORM OS SYSBDS
cat-domain3 Ultra-Enterprise-10000 E10K-CAT 5.8 8 9
cat-domain4 Ultra-Enterprise-10000 E10K-CAT 5.8 10 11
cat-domain1 Ultra-Enterprise-10000 E10K-CAT 5.8 0 1
cat-domain2 Ultra-Enterprise-10000 E10K-CAT 5.8 2 3
现在需要将cat-domain3中的两块系统板SB8和SB9移动到cat-domain1中,但不需要SB8和SB9上的所有IO模块.

step1.同步主备SSP之间的信息,并备份SSP的配置.

cat-mssp-qfe2:E10K-CAT% setdatasync backup

cat-mssp-qfe2:E10K-CAT% su -
root@cat-mssp-qfe2 # mkdir /opt/sun/ssp_bak_Dec.02,2005
root@cat-mssp-qfe2 # /opt/SUNWssp/bin/ssp_backup \
/opt/sun/ssp_bak_Dec.02,2005

root@cat-mssp-qfe2 # ls -ltr /opt/sun/ssp_bak_Dec.02,2005
total 19920
-rw-r--r-- 1 root other 10190848 Dec 2 09:50 ssp_backup.cpio

step2.备份源域cat-domain3和目的域cat-domain1的配置信息,以供将来域恢复时使用.
需要备份的配置信息包括:
- 源域和目的域的OBP配置,用eeprom或printenv(在ok下)命令;
- NVRAMRC中的设置.
- 建议对$SSPVAR/.ssp_private目录下的所有文件作一个备份,用tar命令.
step3. 引导cat-domain3和cat-domain1至OK状态下.

step4. 屏蔽SB8和SB9系统板上所有的IO部件.
通过在平台层创建黑名单文件将SB8和SB9系统板上所有的IO部件屏蔽:
cat-mssp-qfe2:cat-domain2% more $SSPVAR/etc/blacklist
scard 8.0.0
scard 8.0.1
scard 8.1.0
scard 8.1.1
scard 9.0.0
scard 9.0.1
scard 9.1.0
scard 9.1.1

step5. 删除cat-domain3和cat-domain1域配置(不会影响到它的操作系统及数据).
cat-mssp-qfe2:E10K-CAT% domain_remove -d cat-domain3
cat-mssp-qfe2:E10K-CAT% domain_remove -d cat-domain1
当提示是否保存原有域的配置信息时回答”yes”,以供将来域恢复:

domain_remove: The following subdirectories contain domain specific information such as messages files, configuration files,and hpost dump files. You may choose to keep these
directories if you still need this information. This domain may be created with or without this information being saved.

/var/opt/SUNWssp/adm/cat-domain1
/var/opt/SUNWssp/etc/E10K-CAT/cat-domain1

Keep directories (y/n)? y
Domain : cat-domain1 is removed !

cat-mssp-qfe2:E10K-CAT% domain_status

step6. 重新创建cat-domain1域.
cat-mssp-qfe2:E10K-CAT% domain_create -d cat-domain1 -b 0 1 8 9 -o 5.8 -p E10K-CAT

cat-mssp-qfe2:E10K-CAT% domain_status

输出结果为:
DOMAIN TYPE PLATFORM OS SYSBDS
cat-domain4 Ultra-Enterprise-10000 E10K-CAT 5.8 10 11
cat-domain1 Ultra-Enterprise-10000 E10K-CAT 5.8 0 1 8 9
cat-domain2 Ultra-Enterprise-10000 E10K-CAT 5.8 2 3

step7. 新创建的域在引导之前的健康检查.

cat-mssp-qfe2:E10K-CAT% hostinfo –F (检查风扇模块是否工作正常,或者用”fan”命令)
cat-mssp-qfe2:E10K-CAT% hostinfo –p (检查系统板是否加电)

在主SC上检查”/var/adm/messages”日志文件,如果SSP报告系统板的温度问题(例如系统板
的温度为0),则转到step9,否则转到step8.

step8. 修正关于系统板的温度报错信息(一般情况下,不需要执行此步).
在主SSP上运行:
cat-mssp-qfe2:E10K-CAT% edd_cmd -x stop
cat-mssp-qfe2:E10K-CAT% thermcal_config -b sb -z 0
cat-mssp-qfe2:E10K-CAT% thermcal_config -b sb -z 1
cat-mssp-qfe2:E10K-CAT% thermcal_config -b sb -z 8
cat-mssp-qfe2:E10K-CAT% thermcal_config -b sb -z 9

执行命令” /opt/SUNWssp/bin/thermcal_config”将更新”$SSPVAR/etc//cbobjs/thermcaldata.tcl”文件,该文件保存了E10K系统板各部件的温度数据,SSP将会利用该文件获取部件当前的温度值.一般情况下,如非必要,不要手工执行该命令,”edd”后台守护进程会根据需要自动调用该命令.


上述命令完成后,重新打开edd后台进程.
cat-mssp-qfe2:E10K-CAT% edd_cmd -x start
cat-mssp-qfe2:E10K-CAT% hostinfo -t

step9. 引导新创建的cat-domain1.
cat-mssp-qfe2:-d% domain_switch cat-domain1
cat-mssp-qfe2:cat-domain1% bringup -A off
cat-mssp-qfe2:cat-domain1% netcon –g
ok boot –r
如果无法为cat-domain1执行bringup(hpost失败),转到step10.

step10.重新配置cat-domain1中的系统板.
在主SSP上,运行autoconfig命令:
cat-mssp-qfe2:E10K-CAT% autoconfig sysboard0
cat-mssp-qfe2:E10K-CAT% autoconfig sysboard1
cat-mssp-qfe2:E10K-CAT% autoconfig sysboard8
cat-mssp-qfe2:E10K-CAT% autoconfig sysboard9

系统板8 autoconfig输出实例:
cat-mssp-qfe2:E10K-CAT% power -on -sb 8

Powering up system board: 8...done

cat-mssp-qfe2:E10K-CAT% autoconfig sysboard8
You must reboot the ssp for database changes to take effect.
If a spare SSP is used, please backup changes via ssp_backup
or setdatasync backup prior to rebooting the ssp.


执行autoconfig后,必须重新启动主SSP(备SSP不需要重启):
cat-mssp-qfe2:E10K-CAT% setfailover off
# sync;/etc/init.d/ssp stop
# init 6
主SSP重新启动后,同步主备SSP数据.

说明:
一般而言,”autoconfig”命令不需要执行,只有当系统板上的硬件有所变化时,例如增加或删除I/O部件等,才需要执行该命令以反映硬件的更新.

step11.同步主备SSP之间的配置数据.
cat-mssp-qfe2:E10K-CAT% setdatasync backup
cat-mssp-qfe2:E10K-CAT% showdatasync -Q
cat-mssp-qfe2:E10K-CAT% showdatasync -l

cat-mssp-qfe2:E10K-CAT% domain_status
DOMAIN TYPE PLATFORM OS SYSBDS
cat-domain4 Ultra-Enterprise-10000 E10K-CAT 5.8 10 11
cat-domain2 Ultra-Enterprise-10000 E10K-CAT 5.8 2 3
cat-domain1 Ultra-Enterprise-10000 E10K-CAT 5.8 0 1 8 9