10g RAC的dataguad異常一則

今天重啟一個dataguad的時候,無法啟動MRP進程,報錯如下

Wed Mar  9 15:32:55 2016
ALTER DATABASE recover managed standby database using current logfile disconnect
Wed Mar  9 15:32:55 2016
Attempt to start background Managed Standby Recovery process (ORCL1)
MRP0 started with pid=30, OS id=9267
Wed Mar  9 15:32:55 2016
MRP0: Background Managed Standby Recovery process started (ORCL1)
Wed Mar  9 15:33:00 2016
Managed Standby Recovery starting Real Time Apply
Wed Mar  9 15:33:00 2016
MRP0: Some datafile enqueues are still held! Retry recovery...
Wed Mar  9 15:33:00 2016
Errors in file /home/oracle/oracle/admin/ORCL/bdump/orcl1_mrp0_9267.trc:
ORA-01124: Message 1124 not found; No message file for product=RDBMS, facility=ORA; arguments: [1]
ORA-01110: Message 1110 not found; No message file for product=RDBMS, facility=ORA; arguments: [1] [+DATA/orcl/system01.dbf]
Wed Mar  9 15:33:00 2016
Managed Standby Recovery not using Real Time Apply
Wed Mar  9 15:33:00 2016
Errors in file /home/oracle/oracle/admin/ORCL/bdump/orcl1_mrp0_9267.trc:
ORA-01124: Message 1124 not found; No message file for product=RDBMS, facility=ORA; arguments: [1]
ORA-01110: Message 1110 not found; No message file for product=RDBMS, facility=ORA; arguments: [1] [+DATA/orcl/system01.dbf]
Wed Mar  9 15:33:20 2016
MRP0: Background Media Recovery terminated with error 1153
Wed Mar  9 15:33:20 2016
Errors in file /home/oracle/oracle/admin/ORCL/bdump/orcl1_mrp0_9267.trc:
ORA-01153: Message 1153 not found; No message file for product=RDBMS, facility=ORA
Wed Mar  9 15:33:20 2016
Errors in file /home/oracle/oracle/admin/ORCL/bdump/orcl1_mrp0_9267.trc:

這里說一下環境

  主庫是10g 2節點RAC,備庫同樣是2個節點10g RAC,但是只有節點1做日志恢復

事故經過:

  昨天由于備庫的存儲故障(有raid,數據沒異常),就停了crs讓存儲工程師維護,維護以后,新磁盤需要同步數據,所以就今天啟動dg,間隔大概24小時

今天維護好了,需要啟動,2節點分別執行了/etc/init.d/init.crs start

都知道這個命令會啟動asm及db的實例,但是我給忽略了

在節點1起來以后,看日志,數據庫open到了readonly,然后執行了shutdown,并啟動到mount執行revoer,但是這里報錯,信息如上

其實現在很清晰的能看到,1節點啟動MRP進程準備恢復,但由于2節點也處于readonly模式,數據文件已經被占用了.所以節點1的MRP沒法恢復數據文件.就被關閉了

解決辦法:

    shutdown 2節點db即可