晚上7点多接到客户电话,从下午4点起,陆续接到地市客户以及亿阳电话,数据库无法连接以及一系列告警。
登录数据库查看:
hlcs1>sqlplus omc/omc登录
报错:
ORA-00257:archiver error. Connect internal only. until freed.
因为之前出现过归档目录满的问题,
[root@hlds2 ~]# backuptool.pl -schedule show
命令查看是否备份的任务还在。结果显示正常,每天2:30分在备份。
归档目录/d/db/arc 占用率只有3%,不存在目录满的问题。
查看Oracle alert日志。
最早出现是在12:56,redo 损坏,无法归档,导致数据库夯住,无法正常处理事务。
网上对于ORA-16038都有比较多的资料。
查看当前日志组以及状态
从日志显示:log 2 can't be archived .
当前日志组为group 1. 所以并非当前在用的redo.
sql>alter database clear unarchived redofile group 2
sql>alter system switch logfile;
日志正常归档,数据库能正常连接。
重启相关包的管理进程,陆续恢复业务。。
总结:
该问题处理并不复杂,但是影响很大。
发生问题的主要原因是我们的设计问题。
OSS存在五个日志组,每个组里只有一个成员,这样会导致,任意一个文件损坏,都会导致问题。
增加日志组成员,至少保证每个组有两个成员,并存储在不同的目录,才能根本的防止该问题的发生。
阅读(475) | 评论(0) | 转发(0) |