高负载 Instance terminated by PMON

19.3 单机遇到宕机，告警日志中：

LOGMINER: Transaction Queue Size: 1024
2021-04-08T22:29:41.129947+08:00
LOGMINER: Begin mining logfile for session -1708975103 thread 1 sequence 2312, /oradata/orcl/redo02.log
2021-04-08T22:29:41.134085+08:00
LOGMINER: Begin mining logfile for session -1708974079 thread 1 sequence 2312, /oradata/orcl/redo02.log
2021-04-08T22:29:41.137868+08:00
LOGMINER: Begin mining logfile for session -1708973055 thread 1 sequence 2312, /oradata/orcl/redo02.log
2021-04-08T22:29:41.238498+08:00
PMON (ospid: ): terminating the instance due to ORA error
2021-04-08T22:29:41.302452+08:00
Cause - 'Instance is being terminated due to fatal process death (pid: 19, ospid: 13831, DBW0)'
2021-04-08T22:29:41.440232+08:00
System state dump requested by (instance=1, osid=13795 (PMON)), summary=[abnormal instance termination].
System State dumped to trace file /home/oracle/diag/rdbms/orcl/orcl/trace/orcl_diag_13816.trc
2021-04-08T22:29:47.375010+08:00
Instance terminated by PMON, pid = 13795

很好的是，diag进程里能看到以下内容



只有sar信息能用

用法: sar [ 选项 ] [ <时间间隔> [ <次数> ] 
主选项和报告：
    -b    I/O 和传输速率信息状况
    -B    分页状况
    -d    块设备状况
    -I { <中断> | SUM | ALL | XALL }
        中断信息状况
    -m    电源管理信息状况
    -n { <关键词> [,...] | ALL }
        网络统计信息
        关键词可以是：
        DEV     网卡
        EDEV     网卡 (错误)
        NFS     NFS 客户端
        NFSD     NFS 服务器
        SOCK     Sockets (套接字)    (v4)
        IP    IP  流          (v4)
        EIP     IP 流       (v4) (错误)
        ICMP     ICMP 流    (v4)
        EICMP     ICMP 流    (v4) (错误)
        TCP     TCP 流  (v4)
        ETCP     TCP 流  (v4) (错误)
        UDP     UDP 流  (v4)
        SOCK6     Sockets (套接字)    (v6)
        IP6     IP 流       (v6)
        EIP6     IP 流       (v6) (错误)
        ICMP6     ICMP 流 (v6)
        EICMP6 ICMP 流 (v6) (错误)
        UDP6    UDP 流       (v6)
    -q    队列长度和平均负载
    -r    内存利用率
    -R    内存状况
    -S    交换空间利用率
    -u [ ALL ]
        CPU 利用率
    -v    Kernel table 状况
    -w    任务创建与系统转换统计信息
    -W    交换信息
    -y    TTY 设备状况
    -o {<文件路径>}
       将命令结果以二进制格式存放在指定文件中

cd /var/log/sa
cat sar08 记录了数据库状态信息

高负载时段cpu状态

或者用以下方式看cpu负载历史
sar -f sa08 -s 21:00:00 -e 23:00:00
如下

kbmemfree：这个值和free命令中的free值基本一致,所以它不包括buffer和cache的空间.

kbmemused：这个值和free命令中的used值基本一致,所以它包括buffer和cache的空间.

%memused：这个值是kbmemused和内存总量(不包括swap)的一个百分比.

kbbuffers和kbcached：这两个值就是free命令中的buffer和cache.

kbcommit：保证当前系统所需要的内存,即为了确保不溢出而需要的内存(RAM+swap).

%commit：这个值是kbcommit与内存总量(包括swap)的一个百分比.

换页

pgpgin/s：表示每秒从磁盘或SWAP置换到内存的字节数(KB)

pgpgout/s：表示每秒从内存置换到磁盘或SWAP的字节数(KB)

fault/s：每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor)

majflt/s：每秒钟产生的主缺页数.

pgfree/s：每秒被放入空闲队列中的页个数

pgscank/s：每秒被kswapd扫描的页个数

pgscand/s：每秒直接被扫描的页个数

pgsteal/s：每秒钟从cache中被清除来满足内存需要的页个数

%vmeff：每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比

tps：每秒钟物理设备的 I/O 传输总量

rtps：每秒钟从物理设备读入的数据总量

wtps：每秒钟向物理设备写入的数据总量

bread/s：每秒钟从物理设备读入的数据量，单位为 块/s

bwrtn/s：每秒钟向物理设备写入的数据量，单位为 块/s

再登录上去看时

内存已经从32G扩展到64G了，估计会有所缓解，但是不知道是谁占用内存较多。

参考：

https://blog.51cto.com/u_13625527/2162216