2008-01-27日集中系统数据库故障处理过程

2008-01-27日集中系统数据库故障处理过程

1、分别登陆到db1 (IP;192.168.1.60) 和 db2 (IP: 192.168.1.53)上
2、在这两台服务器上分别都换到root用户下 su -
3、分别在这两台机器上执行hastop
4、等几分钟（约5分钟左右）
5、分别在这台机器上用ps -ef 来查看一下进程，看还是否有VRTSvcs 进程，如果还有VRTSvcs进程，则重复4步骤
6、如果等待很长时间，如15以上，VRTSvcs进程一直还有，则可以用kill -9 pid 来强行杀进程；
7、如果上述步骤执行完成，则用ps -ef |grep oracle 来8查看oracle 进程是否已经全部关闭；
8、如果仍有oracle 进程可以执行以下步骤：
   a) su - oracle 切换到oracle用户
   b) sqlplus /nolog
   c) connect /as sysdba
   d) shutdown normal
   e) 稍等一会儿，执行 exit，退到shell下来
   f) 执行lsnrctl stop
   g) 稍等3~5分钟，重复7步骤，如果仍然关不掉，建议可以直接用kill -9 pid来强行杀掉
9、重启IDC机房里的数据库的磁盘阵列，注意，需要真正关机，再启动，不可能仅仅按其面板上的reset 键
10、等待磁盘阵列面板下出现ready字样时，在上述的两台db服务器上执行hastart命令
11、等待一段时间，以便让数据库启动：
12、在等待期间可以用hastatus命令来监控启动是否正常
   a ) 如果正常，则会出现如下信息
    attempting to connect....connected

group           resource             system          message            
--------------- -------------------- --------------- --------------------
                                     central1        RUNNING            
                                     central2        RUNNING            
Ora_Group                            central1        ONLINE             
Ora_Group                            central2        OFFLINE            
-------------------------------------------------------------------------
                App_httpd            central1        ONLINE             
                App_httpd            central2        OFFLINE            
                route                central1        ONLINE             
                route                central2        OFFLINE            
                Ora_IP               central1        ONLINE             
-------------------------------------------------------------------------
                Ora_IP               central2        OFFLINE            
                app_disk             central1        ONLINE             
                app_disk             central2        OFFLINE            
                arch_log_disk        central1        ONLINE             
                arch_log_disk        central2        OFFLINE            
-------------------------------------------------------------------------
                backup_disk          central1        ONLINE             
                backup_disk          central2        OFFLINE            
                oracle_disk          central1        ONLINE             
                oracle_disk          central2        OFFLINE            
                mnic                 central1        ONLINE             
-------------------------------------------------------------------------
                mnic                 central2        ONLINE             
                db_central           central1        ONLINE             
                db_central           central2        OFFLINE            
                Ora_Sqlnet           central1        ONLINE             
                Ora_Sqlnet           central2        OFFLINE            
               
          否则可能有waiting for ... 之类的字样
13、 如果感觉已经启动正常，可以用isqlplus 来查询一下数据，从而验证一下数据库是否真正启动好了，如果isqlplus 查询正常，则基本上可以断定数据启动正常了
14、 到集中平台上来
15、 su - ses
16、 cd /usr/local/jboss/jboss-3.2.2-ses/jboss-3.2.2/bin/
17、 ./shutdown.sh -S  关闭ses应用
18、 su - root
19、 cd /usr/local/jboss/jboss-3.2.2-cmb/bin/ 
20、 ./shutdown.sh -S  (注意在1-27日执行时不成功，可以直接用kill -9 pid 来强行杀掉
21、 cd /usr/local/jboss/jboss-3.2.2-cmb/server/default/deploy/smartpay/
22、 mv batchtopup.war batchtopup.bak
23、 cd /usr/local/jboss/jboss-3.2.2-cmb/bin/
24、 nohup ./run.sh >/dev/null &
25、 等待15分钟之后，如果正常可以启动jboss-ses
26、启动了jboss-ses后监控系统交易是否正常
27、如果交易基本正常，则执行以下步骤：
28、cd /usr/local/jboss/jboss-3.2.2-cmb/server/default/deploy/smartpay/
29、mv batchtopup.bak batchtopup.war
30、监控系统交易是否正常