您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。
我們都知道namenode是用來存儲元數據的,他并不是用來存儲真正的數據。
那么他的元數據怎么進行持久化呢!
FsImage
文件系統的鏡像文件叫fsImage,它包括了文件和塊信息的映射,還有文件系統的屬性信息。
datanode啟動的過程中 首先會向namenode注冊塊信息,這些塊信息就是存儲在namenode的FsImage中的。
EditLog
對于文件系統的每一次更改,例如,增加文件,刪除文件等操作都會被寫入Edit Log 這個問題件中。
同樣的,修改文件系統的副本因子配置,也會被寫入Edit Log文件。
EditLog 文件和fsImage文件都存儲在文件系統的本地路徑中。
namenode在內存中存儲了,整個文件系統的鏡像和文件塊映射信息。
元數據是可以被合并的,因此namenode有4GB的內存,就足以存儲巨量的文件和目錄。
namenode啟動過程中發生了什么呢?
1、從硬盤讀取FsImage 和EditLog文件。
2、將EditLog文件中的所有操作信息寫入FsImage中。產生一個新的FsImage文件- - - -這一操作被稱為checkpoint
3、產生一個新的空的EditLog文件
namenode啟動的時候checkponit
關于Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。