溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
NameNode在啟動的時候，需要將Mettadata加載到內存中去，隨著集群擴大，元數據的量也隨之增加，內存壓力過大。
Hadoop1.x的缺點和解決辦法：
單點故障------à HA 一主多備
內存受限 -----àNN Federation
Hadoop節點之間的通信都是采用心跳機制。
元數據放在一片共享區（主NN和備NN共享）稱為Journal Node 集群
所有DN節點都要實時向主NN或備NN通信，告知NN自己有哪么些block等信息。
至于DN具體要向NN（主）還是NN(備)，它會向zookeeper請示，zookeer知道那個節點是主，并知道它的狀態。
當主NN的狀態由FailoverControllerActive進行心跳檢測，通知zookeeper，并在它發生故障時，做切換，同樣備NN也有相應的FailoverControllerStandby 。
通過命令可手動停止主NN啟動備NN，甚至調換角色，用于HDFS升級等場合
NN Fderation：將HDFS分成多個完全獨立的NN的運行，彼此互不干擾，但是集群共享DN
多個NN共用一個集群里DN上的存儲資源，每個NN都可以單獨對外提供服務
每個NN都會定義一個存儲池，有單獨的id，每個DN都為所有存儲池提供存儲
DN會按照存儲池id向其對應的NN匯報塊信息，同時，DN會向所有NN匯報本地存儲可用資源情況
如果需要在客戶端方便的訪問若干個NN上的資源，可以使用客戶端掛載表，把不同的目錄映射到不同的NN，但NN上必須存在相應的目錄
Yarn主要功能：
負責資源管理，任務調度
支持多種第三方計算框架
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
