redo 损坏、无法归档

晚上7点多接到客户电话，从下午4点起，陆续接到地市客户以及亿阳电话,数据库无法连接以及一系列告警。

登录数据库查看：

hlcs1>sqlplus omc/omc登录

报错：

ORA-00257:archiver error. Connect internal only. until freed.

因为之前出现过归档目录满的问题，

[root@hlds2 ~]# backuptool.pl -schedule show 

命令查看是否备份的任务还在。结果显示正常，每天2：30分在备份。

归档目录/d/db/arc 占用率只有3%,不存在目录满的问题。

查看Oracle alert日志。

最早出现是在12:56，redo 损坏，无法归档，导致数据库夯住，无法正常处理事务。

网上对于ORA-16038都有比较多的资料。

查看当前日志组以及状态

从日志显示：log 2 can't be archived .

当前日志组为group 1. 所以并非当前在用的redo.

sql>alter database clear unarchived redofile group 2

sql>alter system switch logfile;

日志正常归档，数据库能正常连接。

重启相关包的管理进程，陆续恢复业务。。

总结：

该问题处理并不复杂，但是影响很大。

发生问题的主要原因是我们的设计问题。

OSS存在五个日志组，每个组里只有一个成员，这样会导致，任意一个文件损坏，都会导致问题。

增加日志组成员，至少保证每个组有两个成员，并存储在不同的目录，才能根本的防止该问题的发生。