91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop的Secondary NameNode是什么

發布時間:2021-12-09 15:16:28 來源:億速云 閱讀:332 作者:iii 欄目:云計算

這篇文章主要介紹“Hadoop的Secondary NameNode是什么”,在日常操作中,相信很多人在Hadoop的Secondary NameNode是什么問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Hadoop的Secondary NameNode是什么”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!

Secondary NameNode從它的名字上來看,給人的感覺是NameNode的備份。但實際上不是這樣。那到底Secondary NameNode在HDFS中扮演的是什么角色呢?

從名字上來看Secondary NameNode與NameNode,都包含著NameNode,這兩者是不是存在某種關系呢,先來看下NameNode是干什么的。

NameNode

NameNode主要是用來保存HDFS的元數據信息,比如命名空間信息,快信息等。當它運行的時候,這些信息會保存在內存中。同時這部分信息也會持久化到磁盤上。

  • fsimage:是在NameNode啟動時對整個文件系統的快照

  • edits:在NameNode啟動后,對文件系統改動序列

只有在NameNode重啟時,edits才會合并到fsimage文件中,從而得到一個文件系統的最新快照。但是在產品集群中NameNode是很少重啟的,這也意味著當NameNode運行了很長時間后,edits文件會變得很大。就會面臨如下問題:

  1. edits文件會變的很大,怎么去管理這個文件是一個挑戰

  2. NameNode的重啟會花費很長時間,因為有很多edits中改動要合并到fsimage文件上。

  3. 如果NameNode掛掉了,就會丟失了很多改動,因為此時的fsimage文件非常舊。

這個時候Secondary NameNode就出場了,Secondary NameNode可以來幫助解決上面問題,它的職責就是用來合并NameNode的edits到fsimage中。

Secondary NameNode

HDFS文件系統的寫操作不是直接被修改到fsimage中,而是edits中,Secondary NameNode節點負責將兩者進行整合。

checkpoint過程如下:

  1. Secondary Namenode請求Namenode停止使用edits文件,暫時將新的寫操作記錄到一個新文件中,如edits.new。

  2. Secondary Namenode節點從Namenode節點獲取fsimage和edits文件(采用HTTP GET)

  3. Secondary Namenode將fsimage文件載入到內存,逐一執行edits文件中的操作,創建新的fsimage文件

  4. Secondary Namenode將新的fsimage文件發送回Namenode(使用HTTP POST)

  5. Namenode節點將從Secondary Namenode節點接收的fsimage文件替換舊的fsimage文件,用步驟1產生的edits.new文件替換舊的edits文件(即改名)。同時更新fstime文件來記錄檢查點執行的時間
    注:從Hadoop0.21.0開始,輔助Namenode已經放棄不用,由checkpoint節點取而代之,功能不變。新版本同時引入一種新的Namenode,名為BackupNode。

Secondary NameNode的整個目的在HDFS中提供一個Checkpoint Node,它只是NameNode的一個助手節點

現在,我們明白Secondary NameNode所做的是在文件系統這設置一個Checkpoint來幫助NameNode更好的工作;它不是取代NameNode,也不是NameNode的備份。

Secondary NameNode的檢查點進程啟動,是由兩個配置參數控制的:

  • fs.checkpoint.period,指定連續兩次檢查點的最大時間間隔, 默認值是1小時。

  • fs.checkpoint.size定義了edits日志文件的最大值,一旦超過這個值會導致強制執行檢查點(即使沒到檢查點的最大時間間隔)。默認值是64MB。

關于NameNode是什么時候將改動寫到edit logs中的?
這個操作實際上是由DataNode的寫操作觸發的,當我們往DataNode寫文件時,DataNode會跟NameNode通信,告訴NameNode什么文件的第幾個block放在它那里,NameNode這個時候會將這些元數據信息寫到edit logs文件中。

到此,關于“Hadoop的Secondary NameNode是什么”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注億速云網站,小編會繼續努力為大家帶來更多實用的文章!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

陆川县| 石楼县| 枝江市| 石台县| 崇阳县| 阿坝县| 灵寿县| 寿宁县| 松原市| 台湾省| 桃源县| 咸宁市| 景谷| 金昌市| 阿图什市| 宁安市| 油尖旺区| 和政县| 青浦区| 梁河县| 县级市| 平和县| 华池县| 长治县| 民权县| 宣化县| 兰考县| 肥东县| 南靖县| 资中县| 丘北县| 长乐市| 阳新县| 平武县| 井研县| 柞水县| 丹棱县| 义乌市| 苏尼特右旗| 板桥市| 雷山县|