91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

發布時間:2021-11-23 16:21:18 來源:億速云 閱讀:157 作者:柒染 欄目:大數據

這篇文章將為大家詳細講解有關Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。

我們都知道namenode是用來存儲元數據的,他并不是用來存儲真正的數據。

那么他的元數據怎么進行持久化呢!

FsImage

文件系統的鏡像文件叫fsImage,它包括了文件和塊信息的映射,還有文件系統的屬性信息。

datanode啟動的過程中 首先會向namenode注冊塊信息,這些塊信息就是存儲在namenode的FsImage中的。

EditLog

對于文件系統的每一次更改,例如,增加文件,刪除文件等操作都會被寫入Edit Log 這個問題件中。

同樣的,修改文件系統的副本因子配置,也會被寫入Edit Log文件。

EditLog 文件和fsImage文件都存儲在文件系統的本地路徑中。

namenode在內存中存儲了,整個文件系統的鏡像和文件塊映射信息。

元數據是可以被合并的,因此namenode有4GB的內存,就足以存儲巨量的文件和目錄。

namenode啟動過程中發生了什么呢?

1、從硬盤讀取FsImage 和EditLog文件。

2、將EditLog文件中的所有操作信息寫入FsImage中。產生一個新的FsImage文件- - - -這一操作被稱為checkpoint

3、產生一個新的空的EditLog文件

namenode啟動的時候checkponit

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

namenode運行過程中和fsImage 與 EditLog的交互操作

Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

SecondaryNamenode
很多人理解的SecondaryNamenode的作用就是對namenode的備份,當namenode宕機了, 可以快速用secondarynamenode 恢復回來。
其實 SecondaryNamenode的重要作用,是定期合并FsImage和EditLog文件。

考慮一個場景。當我們的namenode宕機了。我們需要讀取EditLog文件合并fsImage文件做恢復。如果這個EditLog文件,非常非常大,那么可能僅僅是讀EditLog文件,就需要很長很長時間,以至于我們的故障恢復效果很差。
所以SecondaryNameNode,定期合并FsImage和EditLog文件,并替換namenode上的舊的FsImage文件,生成新的EditLog文件,替換原來的舊的EditLog文件。這樣可以保證SecondaryNameNode上的文件為最近的信息。當發生宕機時候,可以快速恢復。
Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么

關于Hadoop Namenode元數據持久化機制與SecondaryNamenode的作用是什么就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

临泉县| 永善县| 镇坪县| 河津市| 海盐县| 仙桃市| 金川县| 哈尔滨市| 航空| 西华县| 会东县| 图木舒克市| 临沂市| 精河县| 黑河市| 青川县| 土默特左旗| 云南省| 寻甸| 双江| 高清| 梨树县| 饶河县| 万安县| 息烽县| 红河县| 丹棱县| 闽清县| 商都县| 辽宁省| 天津市| 大方县| 临泉县| 林周县| 周宁县| 牙克石市| 安康市| 汤阴县| 麦盖提县| 天全县| 若尔盖县|