HDFS中NN和2NN工作機制的示例分析

小編給大家分享一下HDFS中NN和2NN工作機制的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

1、NN工作機制

引入：當我們將數據上傳到HDFS分布式系統進行存儲時，通過NN存儲HDFS系統中數據的元數據，DN存儲真實數據，那NN中的
元數據存儲在哪？

假設：a.考慮數據安全性和可靠性，NN中元數據存儲在節點的磁盤中。
	--問題：訪問效率很低（ 因為修改元數據是在磁盤進行修改的~IO操作）
	
      b.考慮數據操作速率，將NN中元數據存儲在內存中。
	--問題：服務器宕機，停電等故障，導致元數據丟失（元數據丟失，整個集群無法工作）
	
問題：那該怎么實現高效操作元數據的情況下，還能實現內存+磁盤的維護方案
解決：HDFS通過備份fsimage(鏡像文件) + edits(滾動編輯日志)的方案來解決問題
	--fsimage:NameNode內存中元數據序列化后形成的文件
	鏡像文件：某個時刻對NN內存中元數據的一個快照. 鏡像文件 <= NN內存中數據
	
	--Edits:記錄client改元數據信息的每一步操作（可通過Edits運算出元數據）。
	 Edits文件(只進行追加操作,效率很高),將對NN中元數據的操作，以日志記錄的方式存入Edits文件
		a.Edits文件隨著操作的增加會越來越大，需要定期進行FsImage和Edits的合并
		b.SecondaryNamenode（2NN）專門用于FsImage和Edits的合并.

結論：磁盤和內存中均存

NN主要操作：
	 --第一次啟動NN格式化后，在/opt/module/hadoop-3.1.3/data/name/current下會創建fsimage和eidts文
 件，如果不是第一次啟動，則直接加載鏡像文件和滾動編輯日志文件到內存
	 seen_txid:記錄正在使用的編輯日志文件
	 
1) NN啟動時，需要自己先將磁盤的fsimage_current+edits001_progress 文件進行一次合并. 在內存中構建好元數據信息

2) 當對HDFS進行改操作， 首先會在edits001_progress(正在使用的編輯日志)記錄對應的操作，然后對NN內存中的元數據
進行相應的修改.

3) 2NN會每隔1個小時或者當 edits001_progress中已經記錄了100萬次的操作后，開始進行fsimage_current 和ed
its001_progress的合并

4) NN會將edits_progress進行所謂的滾動，說白了就是該文件不能再進行寫入操作，會生成另外一個編輯日志文件用
于記錄后續的寫操作.
	  滾動正在使用的編輯日志: edits001_progress --> edits001
	  新的編輯日志: edits002_progress
   
5) 2NN 將NN中的fsimage_current 和 edits001 拷貝過來。加載到內存中進行合并. 合并完成后會生成新的fsimage_new.

6) 2NN 將fsimage_new 推送到NN中， fsiamge_current --> fsimage_old 會保留，fsimage_new -->fsiamge_
current .相當于會保留一份新的fsimage 和一份舊的fsiamge.

7) 總結: NN內存中的數據 = 磁盤上正在使用的fsimage + 正在使用的edits文件.

2、2NN工作機制

2NN主要操作：大致流程
	 a.將NN機器對應磁盤上的fsimage 和 Edits文件拉取到2NN的機器中
	 b.在2NN的機器中將fsimage + Edits都讀取到內存中進行合并，然后生成新的fsimage.chkpint
在合并時，edits日志文件會重新生成一個新的，用來記錄在合并時的操作
	 c.再推送到NN機器中的磁盤上，重命名成fsimage,NN中舊的fsimage會保留，新的fsimage對應的
是正在使用 

checkpoint時間設置：（觸發條件）
   a.2NN每隔1小時就發送請求給NN是否需要進行checkpoint
	 [hdfs-default.xml]		--具體設置
	 
        <property>
          <name>dfs.namenode.checkpoint.period</name>
          <value>3600</value>
        </property>
		
   b.Edites文件記錄操作數達到100萬，進行checkpoint操作
	--2nn并不知道客戶端操作了多少次nn，所以設置1分鐘詢問nn一次
	[hdfs-site.xml]添加如下配置：

	 <property>
            <name>dfs.namenode.checkpoint.txns</name>
            <value>1000000</value>
            <description>操作動作次數</description>
        </property>
        <property>
            <name>dfs.namenode.checkpoint.check.period</name>
            <value>60</value>
            <description> 1分鐘檢查一次操作次數</description>
        </property >

3、Fsimage和Edits

4、NN故障處理

方式一：將secondaryNameNode中的數據cp到NameNode存儲數據的目錄(會缺少edits_inprocess中記錄的那部分數據)
	--NN存儲的目錄（/opt/module/hadoop-3.1.3/data/name/current）

具體操作演示：
	1、殺掉NameNode進程
		jps 查看NN運行的進程號
		kill -9 NN進程號
	2、刪除name下所有內容
		rm -rf /opt/module/hadoop-3.1.3/data/name/*
	3、拷貝2NN服務器節點name下的所有內容到NN中的name目錄下
		scp -r luck@swk5:/opt/module/hadoop-3.1.3/data/namesecondary/* ./name/

方式二：使用-importCheckpoint選項啟動NameNode守護進程，從而將SecondaryNameNode中數據拷貝到NameNode目錄中.
具體操作：
   1、修改hdfs-site.xml
	<property>
          <name>dfs.namenode.checkpoint.period</name>
          <value>120</value>
        </property>
        <property>
          <name>dfs.namenode.name.dir</name>
          <value>/opt/module/hadoop-3.1.3/data/name</value>
        </property>
		
   2、kill -9 NameNode進程
   
   3、刪除NameNode存儲的數據（/opt/module/hadoop-3.1.3/data/name）
   
   4、如果2NN不和NN在一個主機節點上，需要將2NN存儲數據的目錄拷貝到NN存儲數據的平級目錄，并刪除in_use.lock文件
		scp -r atguigu@swk5:/opt/module/hadoop-3.1.3/data/namesecondary ./
		rm -rf in_use.lock
		pwd   --->   /opt/module/hadoop-3.1.3/data
		
   5、導入檢查點數據（等待一會ctrl+c結束掉）
		bin/hdfs namenode -importCheckpoint
		
   6、啟動NameNode
		hdfs --daemon start namenode

5、集群安全模式

安全模式生命周期：
1、init
	當NN剛啟動~加載fsimage+edites日志文件~內存中元數據構建成功~NN開始監聽DN請求，此過程中，NN處于安全
模式下，NN的文件系統對于client是只讀的

2、run
	當DN啟動~DN向NN發起內部通信，告知NN自己節點上DN真實塊數據列表信息（安全模式下），NN收到各DN的塊位
置信息之后，開始運行文件系統
	--NN中的真實數據存放位置不是由NN維護的，而是以塊的形式存儲在各DN節點上
	
3、safe quit：(HDFS集群系統啟動完成后，自動退出安全模式)
	滿足‘最小副本條件’ 安全模式退出
	--最小副本:整個文件系統中99.9%的塊滿足最小副本級別（默認值：dfs.replication.min=1）

安全模式具體操作：
1、--查看安全模式狀態
	bin/hdfs dfsadmin -safemode get
2、--進入安全模式
	bin/hdfs dfsadmin -safemode enter
3、--離開安全模式
	bin/hdfs dfsadmin -safemode leave
4、--等待安全模式
	bin/hdfs dfsadmin -safemode wait

案例演示：
1、在/opt/module/hadoop-3.1.3/ 路徑下創建腳本safemode.sh
	touch safemode.sh
2、編輯safemode.sh
	sudo vim safemode.sh    --內容是安全模式進入等待狀態，并上傳一個文件到HDFS系統
	
    #!/bin/bash
    hdfs dfsadmin -safemode wait
    hdfs dfs -put /opt/module/hadoop-3.1.3/README.txt /
	
3、給與safemode.sh執行權限
	chmod 777 safemode.sh
4、運行safemode.sh腳本
	./safemode.sh
5、重新打開一個xshell控制臺，執行離開等待狀態
	bin/hdfs dfsadmin -safemode leave
6、觀察原窗口，查看原窗口hdfs的安全模式狀態
	bin/hdfs dfsadmin -safemode get
	Safe mode is OFF
	safemode.sh中的上傳代碼執行，hdfs集群已有上傳的數據

6、NN的多目錄設置

--NN的本地目錄可以配置成多個，且每個目錄存放內容相同，增加了可靠性，name1和name2可以掛載到不同磁盤（linux支
持），這樣就可以保證元數據的可靠性，多目錄掛載單個磁盤，沒有意義，磁盤壞掉，目錄也就壞掉了

--生產環境中，要提前就考慮好每個NN目錄要掛載的磁盤，保證一個磁盤壞掉，其它仍然可進行讀寫操作
具體操作：
1、配置hdfs-site.xml文件
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///${hadoop.tmp.dir}/name1,file:///${hadoop.tmp.dir}/name2</value>
</property>
2、停止集群，刪除data和logs中所有數據(多臺機器均要執行以下操作，保證數據一致性)
	stop-dfs.sh
	rm -rf /opt/module/hadoop-3.1.3/data
	rm -rf /opt/module/hadoop-3.1.3/logs	
3、格式化集群啟動
	bin/hdfs namenode -format
	bin/hdfs --daemon start namenode（單個起）    start-dfs.sh(群起集群)
4、查看結果
	ll  /opt/module/hadoop-3.1.3/data

以上是“HDFS中NN和2NN工作機制的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！