IBM P系列小型机日常维护/故障定位/故障排除

 

1.  温度与湿度：

最佳工作温度：20-25摄氏度

极限工作温度：10-40摄氏度 

      湿度: 8-80%(在23摄氏度条件下)

如果不是工作在最佳温度，请注意改善机房环境

2.  同时机房要保证清洁.

机房应保持清洁，若空气灰尘过多，很容易造成资源读写错误及磁盘机中磁盘或读写磁头毁损。

电    压:  要求电压稳定, 尖峰电压会损坏设备

电压范围:  220V +/- 10%, 即200-240V, 50-60Hz

电源功率:  视机器类型和系统配置而定

电源线  :  标准的零, 地, 火三相电, 其中零, 地电压不得超过3.0V.

电源接驳:  用符合电流要求的空气开关或其他设备和主机电源线接驳,保证计算机系统的可靠工作应使用稳压电源和UPS，并建议配备发电机组;对于冗于电源的接入,建议采用两路单独输入.

 

检查服务器、磁阵的安装、电源线、7133和主机接线符合要求。

 

服务器状态检查：

1.    当服务器处于启动和正常工作状态时，其前面板上的液晶显示屏上应无信息显示。

2.     当液晶显示器上出现带数字和字母的信息时，说明有硬件告警。可以通过查询相关机型的Service Guide查到相应告警原因，情况严重的，则要立即通知IBM技术专家进行问题排查。

 

7133状态检查：

磁阵前面板上有7133机柜的状态灯（与电源灯并排）和各硬盘的状态灯（一排小灯，与各硬盘位置一一对应）。

1. 当机柜的状态灯出现橙黄色时，说明有硬件告警，此时要检查磁柜的电源、接线、硬盘等。如果有硬件故障则立即进行更换和更正，如果查不出具体问题，则需要联系相关专家进一步诊断。

2. 当硬盘工作正常时，与各硬盘对应的硬盘灯会呈绿色，如无读写，则绿灯一直亮，如该硬盘有读写操作，则绿灯会不规则闪烁，当硬盘损坏时或SSA环路出现问题时，则硬盘状态灯将熄灭，或者呈闪烁状态：以1～3秒的频率有规律地、不停地闪烁

 

 

 

 

 

系统日常维护流程

 

 

系统启动

系统启动正常顺序如下：

首先对外设（磁盘阵列、磁带库等）加电。

待所有外设加电自检完成后， 主机加电正常起机。主机加电后,系统进行自检,在液晶显示屏显示”ok”后,才能按白色POWER键起机.

启动主机HACMP，启动后可用命令 tail -f /tmp/hacmp.out 来检查启动情况，在HACMP未完全启动前不要进行下一步。

检查服务器的网络地址，路由表(可用netstat -i , netstat -rn 等)，检查文件系统，逻辑卷(可用 mount , lsvg -o 等)。

检查各项应用是否工作正常。

 

系统关闭

停止HACMP  ( smitty clstop)。

查看HACMP的状态，检查服务器的网络地址，路由表(可用netstat -i , netstat -rn 等)，检查文件系统，逻辑卷(可用 mount , lsvg -o 等)。在HACMP未完全停止前不要进行下一步。

关闭主机 (shutdown –F)。重启系统可以使用：shutdown -Fr

如有必要的话，按磁盘阵列前方的白色按钮关闭磁盘阵列。

 

 

查看系统的错误记录

在系统运行时，一些系统错误会记录在errlog 中，其中有些错误还会在终端上显示。检查错误日志可用以下命令：

 

#errpt|more 查看系统所有的记录

 

IDENTIFIER  TIMESTAM P  T  C  RESOURCE_NAME  DESCRIPTION

E85C5C4C    0426104399   P   S   CFGLFT       SOFTWARE PROGRAM ERROR

2BFA76F6    0426104099   T   S   SYSPROC      SYSTEM SHUTDOWN BY USER

9D4CF6E7    0426104399   T   O   errdemon       ERROR LOGGING TURNED ON

1E2AC07E    0426103999   T   O   errdemon       ERROR LOGGING TURNED OFF

1E5EER4T    0423132999   T   O   clstrmgr        OPERATOR NOTIFICATION     

 

其中

 

IDENTIFIER 为错误编号，当需要检查详细信息时常会用到。

 

TIME STAMP 为时间标签，它记录的是出错时间，其格式:月月日日时时分分年年

 

T 为Type , 它记录的是错误类型

P ：为永久错误，需引起注意

    T ：为临时错误。

 

C 为Class,  它记录的是错误种类，如

H : Hardware

S : Software

O : Errloger command messages

U : undetermined

 

RESOURCE_NAME  为错误来源

 

DESCRIPTION 为错误描述

 

#errpt -aj 查看系统详细记录内容

 

其中IDENTIFIER为错误编号，如 #errpt -aj 0426104399

 

#errpt -dH              查看系统所有的硬件出错记录

   

 

系统与数据备份

有效及时的系统备份是系统管理的非常重要的一环。当系统出现故障时，特别是文件系统被严重损坏或硬盘损坏时，常需要使用系统备份来恢复系统。在以下情况下应做系统备份：

 

1、新装机。在硬件及系统软件安装完成后，应做系统备份。

2、软件改动。系统软件或应用软件有改动时，应做系统备份。

3、定期备份。对系统进行定期备份，最好每两或三个月做一次备份。

 

系统备份操作介绍:

在命令行中输入smitty mksysb ,可见到以下画面：

 

 

按 F4 键，见到以下画面：

 

通过上下键选择备份的目标设备（选/dev/rmt0 磁带机），

按回车，见到以下画面：

 

再按回车，开始备份，直到见到以下画面，表示备份完成：

 

 

备份注意事项：

进行系统备份无须停止业务，业务可以继续进行。

建议客户进行定期的系统备份（使用命令smitty mksysb）。客户也可根据需要利用SMIT对系统的特定的VG或FS进行备份。

smitty mksysb只备份rootvg中mount起来的文件系统，其它文件系统或数据并没有做备份，所以数据备份需要另外完成（建议客户使用TAR格式）

在条件允许的情况下，最好有一盘以上备份带，以防止磁带损坏。

系统备份过程中有时候会提示有些/tmp目录下的文件无法备份，显示如下：

Creating list of files to back up...

Backing up 34025 files..............................

1694 of 34025 files (4%)..............................

2733 of 34025 files (8%).........backup: 0511-449 An error occurred accessing ./

tmp/sh34736.1: A file or directory in the path name does not exist.

backup: 0511-449 An error occurred accessing ./tmp/sh34736.2: A file or director

y in the path name does not exist.

backup: 0511-449 An error occurred accessing ./tmp/sh34736.3: A file or director

y in the path name does not exist.

.....................

15458 of 34025 files (45%)..............................

31920 of 34025 files (93%)...........

0512-003 mksysb may not have been able to archive some files.

The messages displayed on the Standard Error contained additional

information.

 

这是正常现象，备份成功。

 

 

系统恢复

       

当系统发生比较严重的故障以致采取一般性维护手段不能在短期内恢复原系统，在与客户进行蹉商后，可将最近一次的系统备份带倒回机器内以全面恢复系统到最近一次做备份时的系统环境，然后可将当日的数据备份再倒回系统内。至此，系统可恢复正常运行。此后，客户应当与IBM工程师再进行整个事件的全面分析与回顾，以期找到故障发生的原因，并采取相应措施以杜绝类似事件再次发生。

 

 

当系统运行出现软件故障导致系统down机时，机器的液晶显示器会出现 888 102 xxx 0c0 (xxx可能为700或其它)，AIX常会将当时系统的运行情况记录下来，这就是DUMP。

 

当DUMP产生后，请将磁带放入磁带机，用命令 # snap -a -o /dev/rmt0将DUMP 文件拷贝到磁带设备/dev/rmt0 中。注明磁带机的block size, DUMP产生的日期和机器的型号及序列号。同时，请用# errpt -a >/tmp/err.log 将errorlog 记在/tmp/err.log中，并将 /tmp/err.log 和 /tmp/hacmp.* 拷贝到软盘或磁带上。将磁带和软盘交给IBM工程师。

日常检查服务器状态的项目及其相关命令

1 运行lsdev 命令配以各种参数，所列各种设备状态都应为Available。

#lsdev –C –H –S a                列出系统中可用设备。

#lsdev –Cc processor           列出系统中的所有CPU。

#lsdev –Cc memory          列出系统中的所有内存。

#lsdev –Cc disk                列出系统中的所有硬盘。

#lsdev -Cc adapter | grep ent       列出系统中的所有网卡

#lsdev -Cc adapter | grep scsi      列出系统中的所有SCSI卡。

#lsdev -Cc adapter | grep ssa       列出系统中的所有SSA卡。

 

2 lspv命令

#lspv           显示系统中可用的PV。

#lspv hdiskn        显示hdiskn的具体信息。

#lsdev –Cc pdisk  显示磁盘阵列的硬盘的具体信息。

对SSA硬盘的检测：在对主机进行工作之前可以先把磁盘阵列上电，等主机完全启动后，登录到主机上，运行以下命令“ lsdev –Cc pdisk “,应该可以看到所有SSA硬盘，并且状态应为Available.。

 

3  lsattr命令

# lsattr –E –l mem0   列出系统中内存mem0的大小，本项目中内存有4GB。

 

4  lsvg命令

#lsvg           列出系统中所有的vg。

#lsvg rootvg        列出rootvg的详细信息。

#lsvg –o         列出激活的vg

 

5  oslevel命令

#oslevel        显示操作系统版本信息。

 

6  netstat命令

#netstat –in   显示系统中各网卡的配置。可查看网卡的IP配置好了没有。

 

7  通过运行# diag 命令运行硬件诊断程序检测主机内所有硬件，检测结果为 “No trouble found ”显示各部分工作正常。

   

8  使用#diag命令（选择：Task Selection-> SSA Service Aids）对SSA硬盘链路连接的校验，可以通过SSA 工具里的Link Verification 来检测。如有必要，可以用 Certify Disk运行硬盘诊断部分进行硬盘的表面分析测试 ，由1% 至100%，检测结果显示主机内置硬盘的所有扇区均读写正常。

 

9  lsps –a 查看PAGING SPACE的使用情况，如果使用率超过70%，就需要采取措施。

 

10  lsvg –o | lsvg –il | grep –i stale查看有无stale的lv，如果输入该命令之后有输出结果，就需要采取措施

 

11  有否发给root用户的错误报告(mail)。

 

12  检查双机状态：lssrc –g cluster 检查ha三个工作进程是否激活，/usr/sbin/cluster/clstat –a检查双机状态是否up，并检查hacmp.out日志，看是否有异常信息。

 

13  用vmstat, topas，sar 命令检查系统性能，检查cpu\memoyr\IO ，是否存在性能瓶颈。

 

14  检查能否顺利进入CDE界面，如果不能进入的话，要检查/etc/hosts表中有否错误的项目。

 

15  用smitty ssaraid 查看磁盘阵列RAID盘的状态是否是Good。如果是degrade或其他状态表示RAID盘出现问题了

 

16  用sysdumpdev –l 查看系统的DUMP设置是否正常。

 

17  用instfix –ik | grep ML当前操作系统补丁版本补丁程序(PTF)是否满足稳定运行的需要。一般要求433操作系统补丁要打到10以上，5.1操作系统补丁要打到5以上

 

18  使用df –kP查看磁盘空间占用率，请确保以下文件系统的占用率高于80%立即上报：

/  /var  /usr  /home  /tmp  /zxindata/zxinbak，其余文件系统的占用率高于95%立即上报

也可以到各文件系统下使用组合命令：find . –size +2048 –o ctime 1 –exec ls –l {} \; 查出大于1M或一天之内修改过的文件。

 

性能监控与调优

通过命令vmstat 1 来观察.

 

kthr     memory             page              faults        cpu

----- ----------- ------------------------ ------------ -----------

 r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa

 

命令解析：vmstat 命令的输出可以反映系统整体运行状况，包括cpu、内存、虚拟页面、系统进程和系统调用情况。

检查CPU是否为瓶颈,分别检查CPU的四项数值和kthr的两项数值.

检查MEM是否为瓶颈,分别检查Memory的两项数值和Page 的六项数值.

 

通过命令 sar –mu –P ALL 来观察。

 

命令解析：  sar可以用来收集反映系统运行状况，在这里主要是查看CPU的运行状况，CPU是否负载均衡,是否存在分配不均的情况。

 

 

通过命令ps gv | more来观察。

 

PID    TTY STAT  TIME PGIN  SIZE   RSS   LIM  TSIZ   TRS %CPU %MEM COMMAND

     0      - A     4:20    7    12 14516    xx     0 14504  0.0  5.0 swapper

     1      - A     1:33  103 78952 79044 32768    25    36  0.0 29.0 /etc/init

 

命令解析：ps可以用来查看进程的当前状态。在这里通过参数的配搭，可以观察目前正在运行的进程所耗的时间,CPU和memory 量.其中，%CPU表示进程所占用的CPU资源情况，%MEM表示进程所占用的内存情况。主要检查是否有标示为的僵尸进程耗用系统资源，以及informix 数据库的oninit进程的系统消耗情况。

 

 

在机器上用dd命令进行磁盘阵列的写操作校验，与此同时用iostat 1 –d  hdiskX观察磁盘。

 

Disks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn

 

命令解析: iostat可以用来查看系统的 I/O的输入输出情况，在这里主要查看阵列上的硬盘的每秒读写量，同时估算磁盘阵列读写速度HHhHhh   

。

 

 

通过命令netstat –a  进行查看。

 

Active Internet connections (including servers)

Proto  Recv-Q  Send-Q  Local Address          Foreign Address            (state)

 

命令解析: netstat可以用来查看系统的网络情况，在这里主要是查看网络客户端连接的情况和开销，检查参数为state，如有死连接，state状态为fin_wait, 这样耗用系统网络资源，从而导致网络性能下降构成瓶颈。

 

 

安全工作守则

a.系统定期进行系统备份，系统盘建议镜像。

b.当有系统变更或进行操作系统补丁安装的时候，必须作一次系统备份。

c.在7133和shark发现有硬盘故障的时候，请提醒客户注意当天的数据备份。在更换硬盘的时候，请确认当天数据备份已经完成。

d.在更换敏感的电子元件，时候一定要防静电。

e.在插拔外围设备的时候，请把外围设备下电。

f.在进行主机微码升级时候，请留意微码的完整性。

g.在进行文件删除的时候，请留意当前路径是否正确。

h.在进行文件解压缩的时候，请留意参数和路径。

 

 

维护电话

在日常维护中碰到问题和疑难，可以致电：

 

IBM 免费技术支持保修热线：      800-810-6677    010-64981188-5100

客户技术咨询热线：             800-810-1818

IBM广州分公司联系电话：         [phone]