HDFS體系結構是什么

這篇文章主要介紹了HDFS體系結構是什么，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

HDFS的體系框架是Master/Slave結構，一個典型的HDFS通常由單個NameNode和多個DataNode組成。NameNode是一個中心服務器，負責文件系統的名字空間的操作，比如打開、關閉、重命名文件或目錄，它負責維護文件路徑到數據塊的映射，數據塊到DataNode的映射，以及監控DataNode的心跳和維護數據塊副本的個數。集群中的DataNode一般是一個節點一個，負責管理它所在節點上的存儲。HDFS暴露了文件系統的名字空間，用戶能夠以文件的形式在上面存儲數據。從內部看，一個文件其實被分成一個或多個數據塊，這些塊存儲在一組DataNode上。DataNode負責處理文件系統客戶端的讀寫請求。在NameNode的統一調度下進行數據塊的創建、刪除和復制。  
所有對目錄樹的更新和文件名和數據塊關系的修改，都必須能夠持久化，文件在HDFS中存儲圖如圖2： 
 


圖2  文件在HDFS中的存儲圖 
HDFS涉及到NameNode、DataNode和客戶端們之間的交互。本質上，客戶端與NameNode通訊是通過獲取或者修改文件的元數據，與 DataNode進行實際的I/O操作。如圖3所示，在HDFS中有三個重要的角色：NameNode、DataNode和Client，其中Client就是需要獲取分布式文件系統文件的應用程序。 
這里通過三個操作來說明他們之間的交互關系 
(l)文件寫入。首先Client向NameNode發起文件寫入的請求，NameNode根據文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個Block，根據DataNode的地址信息，按順序寫入到每一個DataNode塊中。 
(2)文件讀取。Client向NameNode發起文件讀取的請求，NameNode返回文件存儲的DataNode的信息。Client根據返回的信息讀取DataNode上的文件信息。 
(3)文件Block復制。NameNode發現部分文件的Block不符合最小復制數或者部分DataNode失效，通知DataNode相互復制Block。DataNode收到通知后開始直接相互復制。 
 

圖3  HDFS結構圖

感謝你能夠認真閱讀完這篇文章，希望小編分享的“HDFS體系結構是什么”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!