溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了“NameNode工作機制和DataNode副本工作機制原理”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“NameNode工作機制和DataNode副本工作機制原理”吧！
NameNode（以下簡稱NN）的工作機制：
1、用戶上傳數據的操作保存內存緩存中，同時往edits.log文件寫入
2、edits.log文件是一個臨時的日志文件，且隨著edits.log文件達到一定大小之后會將數據寫入到另一個edits.log2文件，因此會產生多個edits.log小文件
3、多個edits.log小文件通過SecondaryNameNode（以下簡稱SN）節點最終保存在本地的fsimage文件中的
4、NN每隔一段時間向SN發送checkpoint請求（fsimage和edits.log的合并）
5、SN從NN上下載fsimage和edits.log文件，然后請求edits.log文件更改文件名為edits.new
6、SN將fsimage和edits.log在內存合并運算、整合，生成新的fsimage.checkpoint，通知NN
7、NN接到通知后從SN下載fsimage.checkpoint
8、NN將fsimage.checkpoint和edits.new文件改回原來的名字
DataNode（以下簡稱DN）的副本生成機制：
DN采用pipeline（管道）機制對數據進行副本的復制，客戶端從提交到DN時只有一個副本，DN根據NN傳來的各個主機形成一個管道，一旦有數據往DN的第一個節點傳輸數據時，DN就會往管道內的其他DN節點異步通過網絡復制數據，只有當所有節點拷貝完成，這個管道才算成功，否則DN會向NN通知復制副本失敗，NN接收到DN失敗請求，會根據拷貝好的成功的節點和失敗的節點做一個調整，重新形成新的管道（例如：有3個節點在傳輸，假如3個節點傳輸失敗，這個管道就失敗了，NN在重新選擇的時候會將傳輸成功的第2個節點與其他非原來第3個節點的節點再次形成管理進行副本的復制）
感謝各位的閱讀，以上就是“NameNode工作機制和DataNode副本工作機制原理”的內容了，經過本文的學習后，相信大家對NameNode工作機制和DataNode副本工作機制原理這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
