hdfs工作原理是什么

本篇文章為大家展示了hdfs工作原理是什么，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

一,當用client向hdfs中寫入數據的時候.

           當我們向hdfs 寫數據的時候,客戶端要做兩件事.首先,將數據文件劃分不同的數據塊,劃分的標準默認是64MB或128MB,這個是可以配置的.其次是向namenode請求一批(實際上就是默認的3個)datanode以存放數據塊.當然namenode不是隨便的選出三個datanode給client,它會選擇三個最靠近client的三個datanode,那么這個距離是怎么計算的呢,是這樣的,它會去計算兩個節點與父節點帶寬之和來計算兩個節點的距離,在得到三個最近的datanode之后,namenode會先按與client的距離對datanode排下序,然后返回給客戶端.

           下面client要做的就是向namenode返回的3個datanode中傳輸數據了.當它在寫第一個數據塊時,它會先向離它最近的那個datanode寫數據.那么client如何知道它向第一個datanode寫入數據是否成功了呢?是這樣的,client在向datanode傳數據的同時,會計算下數據快的校驗和,這個校驗和也會傳給datanode,datanode 在存儲完數據后,會對數據塊取下校驗和與client的校驗和進行比對,如果一致的話說明數據保存成功,然后它會向client進行ack,告訴client數據已經成功保存了,同時它也會告訴namenode數據塊保存成功了.剩下的數據塊保存到下兩個datanode的過程和第一個過程是相似的,只是數據的傳輸不是都是client去傳遞的,而是datanode之間進行傳遞的,每個datanode成功保存完數據后都會向client進行ack并通知namenode保存數據完畢.當client接受到所有的datanode的ack后,client會告訴namenode數據塊全部寫入完畢.當namenode接受到client的消息后,namenode要做的就是維護兩張表,一張表是每個數據塊對應的datanode地址,另一張表是存儲數據副本的時候經過了那些管線.

      二,當從hdfs中讀數據的時候.

             當client要從hdfs中讀取數據的時候,首先客戶端要知道數據存儲在哪吧,怎么才能知道啊,誰知道啊?當然是namenode啊,namenode存儲了所有的數據塊元數據信息.client會給namenode請求數據的文件地址,namenode會返回給client關于數據塊的相關信息即數據塊存放在哪些datanode上了，每個datanode存放了哪些數據塊,當然這些datanode也是按照與client距離排過序的.當client拿到這些信息后,它會先到離它最近的那個datanode上下載數據.

         三,故障的規避.

              因為是分布式文件系統,網路中什么事情都有可能發生,如datanode掛掉,datanode不能返回客戶端想要的數據,datanode在保存數據的時候數據損毀,或者最嚴重的namenode掛掉.

              下面看看這個四個問題,hadoop是如何規避的呢。

              首先是datanode掛掉,當hdfs啟動后每個datanode節點會定期上報自己的健康狀況,每個datanode會每三秒向namenode發送心跳,證明自己還或者,假如namenode是秒鐘沒有收到datanode發送的心跳,namenode會認為這個datanode已經掛掉了.

              下一個問題datanode不能返回客戶端想要的數據,當客戶端datanode請求數據或寫入數據的時候,datanode無相應怎么辦呢,當客戶端長時間沒有接收到datanode的ack后,client也為認為這個datanode已經掛掉了,于是會跳過這個datanode,請求下個datanode.    

              第三個問題,datanode保存的數據發生損壞,這個該怎么辦呢,datanode會定期上報自己所存的數據快健康狀況,健康狀況是通過校驗和來判斷的,當nomenode收到datanode發送的數據塊健康狀況的報告后它就知道那些數據塊損毀,然后它就會去更新它維護的兩張表,即數據塊在哪些datanode上存著,每個datanode上存放了哪些數據塊,如果namenode發現哪個數據塊的副本沒有達到標準,它會通知其它的datanode從已有數據塊的datanode上copy相應的數據塊.

              第四個問題,namenode掛掉,這個問題是最嚴重的,目前的最好的解決辦法就是加一個輔助namenode即secondNamenode,以備分數據塊的元數據信息,盡可能的避免數據丟失.

上述內容就是hdfs工作原理是什么，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。