溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
剛剛接觸HDFS,感覺HDFS的數據可靠性非常高，記錄一下..
一HDFS的基本原理
HDFS采用了主從（Master/Slave）結構模型，一個HDFS集群包括一個名稱節點（NameNode）和若干個數據節點（DataNode）。名稱節點作為中心服務器，負責管理文件系統的命名空間及客戶端對文件的訪問。集群中的數據節點一般是一個節點運行一個數據節點進程，負責處理文件系統客戶端的讀/寫請求，在名稱節點的統一調度下進行數據塊的創建、刪除和復制等操作。每個數據節點的數據實際上是保存在本地Linux文件系統中的。
二HDFS寫操作
寫文件的過程：是一種流水線復制
三HDFS讀操作
HDFS 的文件塊多副本分散存儲機制保障了數據存儲的可靠性，當讀取文件時 DataNode 掛了只需要失敗轉移到其他副本所在的
DataNode 繼續讀取，而對于發生副本塊錯誤，讀取到的文件數據塊若校驗失敗可認定為損壞，依然可以轉移到讀取其他完好的副本，并向 NameNode
匯報該文件 block 損壞，后續處理由 NameNode 通知 DataNode 刪除損壞文件 block，并根據完好的副本來復制一份新的文件
block 副本。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
