记录一个堆栈 LMHB 心跳终结 LMD kjr_freeable_chunk_free

Build label:    RDBMS_19.12.0.0.0DBRU_LINUX.X64_210715

告警日志：

2021-08-12T05:22:26.845088+08:00
LMD2 (ospid: 12345) has not called a wait for 84 secs.
2021-08-12T05:22:29.303932+08:00
Errors in file /u01/app/oracle/diag/rdbms/orcl/orcl1/trace/orcl1_lmhb_54321.trc  (incident=3524453) (PDBNAME=CDB$ROOT):
ORA-29770: global enqueue process LMD2 (OSID 12345) is hung for more than 70 seconds
Incident details in: /u01/app/oracle/diag/rdbms/orcl/orcl1/incident/incdir_3524453/orcl1_lmhb_54321_i3524453.trc
2021-08-12T05:22:32.123982+08:00
LOCK_DBGRP: GCR_SYSTEST debug event locked group GR+DB_orcl by memno 1
LMHB (ospid: 54321): terminating the instance due to ORA error 29770
Cause - 'ERROR: Some process(s) is not making progress.
LMHB (ospid: 54321) is terminating the instance.

全局入队服务守护进程 (LMD)
管理资源请求以控制对块的访问的资源代理进程。LMD 进程还处理死锁检测和远程资源请求。远程资源请求是来自另一个实例的请求。

全局入队服务监视器 (LMON)
后台 LMON 进程监控整个集群以管理全局资源。LMON 管理实例死亡和任何失败实例的相关恢复。特别是，LMON 处理与全局资源相关的恢复部分。LMON 提供的服务也称为集群组服务。

全局缓存服务进程 (LMSn)
管理远程消息的进程。Oracle RAC 提供多达 10 个全局缓存服务进程。

LMHB
全局缓存/入队服务心跳监视器，监控多个进程的心跳。LMHB 监视 CKPT、DIAn、LCKn、LGnn、LGWR、LMDn、LMON、LMSn和 RMSn进程，以确保它们正常运行而不会阻塞或旋转。

ksedsts()+426<-ksdxfstk()+58<-ksdxcb()+872<-sspuser()+223<-__sighandler()<-
kjr_freeable_chunk_free()+2885<- Free freeable dynamic resource chunks back to the SGA
kjrchc()+9320<- :cached obj cleanup => ges resource table freelist
kjmdmain_helper()+5786<- RAC_MLMDS，LMD helper main function
kjmdm()+74<- RAC_MLMDS ：RAC Multiple LMS (kjm)
ksbrdp()+1167<- background_proc ：后台进程 ，Run  a  detached process
opirip()+541<- OPI
opidrv()+581<- OPI ：oracle程序接口
sou2o()+165<-opimai_real()+173<-ssthrdmain()+417<-main()+256<-__libc_start_main()+245

----参考：
http://orasql.org/files/events/oradebug-doc-component.php
http://blog.itpub.net/28218939/viewspace-2652301

LMD0的主循环：kjmdm

lock db锁定：
 - 停止任何死锁检测：kjdddei
 - 锁定并重置：kjfzfcl

lock db解锁：
 - 检测锁转换：kjcvscn
 - 死锁检测：kjddits / kjddscn。
 - 清理恢复域：kjprsem
 - 更新统计信息：kjxstc
 - 发送流控制消息：kjctssb

LMON进程的使用的主要函数如下：
 - LMON的主循环：kjfcln
 - 侦听本地消息：kjcswmg
 - 响应重构事件：kjfcrfg
 - 清除GES缓存：kjrchc

bug 32076305