ORACLE 11G RAC重建EM問題

  前段時間出現了一個問題，就是重啟一個RAC節點時突然報恢復區大小不足的問題，查了一下應該沒有問題，已經修改為500G了，應該還有200多G的剩余空間的，怎么一下就沒了，而且刪除了里面不少文件，并且用RMAN里的crosscheck同步了控制文件，還是不行。后來檢查了一下，發現是該節點重啟后忘記了原來修改的參數了，直接變成了初始參數，怪不得一直報空間不夠，初始參數才那么一點！

   重新設置參數后，該節點起來了，但問題也來了！EM進不去了，查看EM狀態后，決定重啟下EM，EMCTL STOP DBCONSOLE 沒問題，但EMCTL START DBCONSOLE就有問題了，一直是failed.

   查看EM日志也沒有看出什么問題，決定重建EM。

   使用命令：emca -deconfig dbcontrol db -repos drop -cluster 來刪除EM，陸續輸入了數據庫名，服務名，端口號，集群名，SYS密碼，SYSMAN密碼等信息后，DBCONTROL刪除了，但是刪除資料庫時掛在那里不動了，等了大半天也沒有動靜只好停掉。

   這時尷尬了，我也不知道EM算不算刪除了，但是重建地時候，提示說資料庫已經存在，應該是沒刪除，至少是沒刪除干凈。

   在網上查了一個刪除資料庫的命令，要在RAC的兩個節點上分別執行，<ORACLE_HOME>/sysman/admin/emdrep/bin/RepManager <hostname> <listener_port> <sid> -action drop，結果兩個節點都繼續掛在那里不動了！

   后來查了一下，決定既然是沒刪干凈，那就刪的徹底點。

   首先檢查目錄是否還有殘余相關目錄，到<ORACLE_HOME>/oc4j/j2ee/目錄下查看是否還有OC4J_DBConsole_<hostname>_<sid>文件，結果在節點一沒有殘余，但是在節點2確含有sid為節點1sid的問題，兇殘的刪掉（移走）！

   再次刪除emca -deconfig dbcontrol db -repos drop，這回不掛住了，但是仍然報錯，看起來像是監聽沒有啟動起來，而且感覺輸入的密碼也有問題，而且也重建不了，仍然報資料庫已存在的錯誤。查看監聽沒有任何問題，果然還是EM本身有問題。

   再次查找資料，看到一段話：“重新配置DBCONSOLE，需要輸入DBSNMP密碼，但任何密碼都會顯示錯誤，需要預先修改!",感覺像是造成一切問題的源頭！

   每次重建時都事先改一下DBSNMP的密碼：sql>alter user dbsnmp identified by xxx;

   然后手工刪除數據庫里創建EM的一些對象：

SQL> DROP public synonym SETEMVIEWUSERCONTEXT;
同義詞已刪除。
SQL> DROP PUBLIC SYNONYM MGMT_TARGET_BLACKOUTS;
同義詞已刪除。
SQL> drop role MGMT_USER;
角色已刪除。
SQL> DROP USER SYSMAN CASCADE;
用戶已刪除。
SQL> DROP USER MGMT_VIEW CASCADE;
用戶已刪除。

   刪除SYSMAN時還有些問題，刪除時報錯，說不能刪除當前已連接用戶，使用V$session視圖查了一下，發現還真有三個sysman的連接，可能是重建時連上的，為防止意外，先把sysman用戶鎖上，在殺掉三個進程，過一會就可以刪除！

  這回應該刪除感覺了，使用命令emca -config dbcontrol db -repos create -cluster重建EM吧，但結果是兇殘的，居然說我的語句有問題，使用-help查了一遍，沒感覺有什么問題啊。難道還有什么問題嗎？

  這時使用DBCA打開配置數據庫產品時，原來EM的選項變為可選了，那就沒問題，既然命令行說我有錯誤，我用圖形界面總行了吧，一路填過去，靜等結構！

  但結果再次告訴了我不要想的太想當然，在創建資料庫末期，彈出了錯誤 job_queue_processes產生應該大于等于1，這是怎么回事，查看參數，發現該參數居然為0. 修改該產生:alteer system set job_queue_processes=5 scope=both sid='*';

  修改完后，為安全起見又重新使用命令刪除了一遍：emca -deconfig dbcontrol db -repos drop -cluster。

  這次刪除的很快，再次使用DBCA選擇創建EM，大概半個多小時后，EM正確創建成功。

  進入EM界面后，發現上次通過EM創建的備份作業在這幾天都沒有執行，而且作業也沒有了，果然需要重新配置！