集群JournalNode服務重啟導致NameNode掛掉的示例分析

這篇文章主要介紹了集群JournalNode服務重啟導致NameNode掛掉的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1.問題描述

在我們的集群中修改了JournalNode服務的配置后需要重啟時配置生效，在進行重啟操作時導致NameNode服務掛掉，具體操作步驟如下：

1.選擇sgpd229-013節點的JournalNode服務重啟

2.在sgpd229-013節點的JournalNode服務啟動成功后，重啟剩余兩個節點的JN服務

3.重啟成功剩余兩個節點的JournalNode服務后，CM界面報NameNode服務異常退出

4.所有JournalNode服務正常啟動后，重啟NameNode服務，故障恢復

2.異常分析

1.在2018-07-26 09:55:19分重啟sgpd229-013節點的JournalNode服務

2.重啟成功后，NameNode的異常日志如下，此時NameNode的服務均正常

通過NN服務的日志可以看到此時sgpd229-013節點的NN服務無法連接sgpd229-013節點的JN服務，但NN服務任然正常運行，因為sgpd229-012和sgpd229-014節點的JN服務正常。

3.待sgpd229-013節點的JN服務正常后，接著在CM上同時重啟sgpd229-012和sgpd229-014節點的JN服務

重啟成功后，此時sgpd229-012節點的NameNode服務異常退出，異常日志如下：

通過日志可以看到NN顯示無法連接sgpd229-012和sgpd229-014節點的JN服務，此時NN服務判斷JN服務不可用，直接SHUTDOWN，導致NameNode服務異常退出。

3.總結

1.在高可用的Hadoop集群中，JN服務至少要有兩個在正常運行，否則會導致NameNode服務異常退出。在Fayson的這個異常分析中就出現了同時重啟兩個JN服務從而導致NameNode服務異常退出。

2.在啟用HDFS的HA時，部署JN服務時不能少于3個。

3.在集群中需要注意重啟JN服務時，則需要確保JN集群至少有兩個服務正常運行，建議通過CM的滾動重啟來完成。

關于QJM的設計及實現過程，Fayson摘自網上，供大家參考：

實現過程：

(1)初始化后，Active把editlog日志寫到2N+1上JN上，每個editlog有一個編號，每次寫editlog只要其中大多數JN返回成功（即大于等于N+1）即認定寫成功。

(2)Standby定期從JN讀取一批editlog，并應用到內存中的FsImage中。

(3)如何fencing： NameNode每次寫Editlog都需要傳遞一個編號Epoch給JN，JN會對比Epoch，如果比自己保存的Epoch大或相同，則可以寫，JN更新自己的Epoch到最新，否則拒絕操作。在切換時，Standby轉換為Active時，會把Epoch+1，這樣就防止即使之前的NameNode向JN寫日志，也會失敗。

(4)寫日志：

  (a) NN通過RPC向N個JN異步寫Editlog，當有N/2+1個寫成功，則本次寫成功。

  (b) 寫失敗的JN下次不再寫，直到調用滾動日志操作，若此時JN恢復正常，則繼續向其寫日志。

  (c) 每條editlog都有一個編號txid，NN寫日志要保證txid是連續的，JN在接收寫日志時，會檢查txid是否與上次連續，否則寫失敗。

(5)讀日志：

(a) 定期遍歷所有JN，獲取未消化的editlog，按照txid排序。

(b) 根據txid消化editlog。

(6)切換時日志恢復機制

(a) 主從切換時觸發

(b) 準備恢復（prepareRecovery），standby向JN發送RPC請求，獲取txid信息，并對選出最好的JN。

(c) 接受恢復（acceptRecovery），standby向JN發送RPC，JN之間同步Editlog日志。

(d) Finalized日志。即關閉當前editlog輸出流時或滾動日志時的操作。

(e) Standby同步editlog到最新

(7)如何選取最好的JN

  (a) 有Finalized的不用in-progress

  (b) 多個Finalized的需要判斷txid是否相等

  (c) 沒有Finalized的首先看誰的epoch更大

  (d) Epoch一樣則選txid大的。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“集群JournalNode服務重啟導致NameNode掛掉的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!