91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop五個進程的作用和聯系

發布時間:2020-07-30 01:21:09 來源:網絡 閱讀:1481 作者:DBAspace 欄目:大數據

Hadoop五個進程的作用和聯系

1.NameNode:

相當于一個領導者,負責調度 ,比如你需要存一個1280m的文件如果按照128m分塊 那么namenode就會把這10個塊(這里不考慮副本)分配到集群中的datanode上并記錄對于關系 。當你要下載這個文件的時候namenode就知道在那些節點上給你取這些數據了。它主要維護兩個map 一個是文件到塊的對應關系 一個是塊到節點的對應關系。

2. secondarynamenode:

它是namenode的一個快照,會根據configuration中設置的值來決定多少時間周期性的去cp一namenode,記錄namenode中的metadata及其它數據 

3. NodeManager(NM):

1、是YARN中每個節點上的代理,它管理Hadoop集群中單個計算節點

2、包括與ResourceManger保持通信,監督Container的生命周期管理,

3、監控每個Container的資源使用(內存、CPU等)情況,追蹤節點健

4、康狀況,管理日志和不同應用程序用到的附屬服務(auxiliary service)

4.DataNode:

a.DataNode的需要完成的首要任務是K-V存儲

b.完成和namenode 通信 ,這個通過IPC 心跳連接實現,此外還有和客戶端 其它datanode之前的信息交換。

 c.完成和客戶端還有其它節點的大規模通信,這個需要直接通過socket 協議實現。  

5.ResourceManager:

 在YARN中,ResourceManager負責集群中所有資源的統一管理和分配,它接收來自各個節點(NodeManager)的資源匯報信息,并把這些信息按照一定的策略分配給各個應用程序(實際上是ApplicationManager)RM與每個節點的NodeManagers (NMs)和每個應用的ApplicationMasters (AMs)一起工作。

    a.NodeManagers 遵循來自ResourceManager的指令來管理單一節點上的可用資源。

    b.ApplicationMasters負責與ResourceManager協商資源與NodeManagers合作啟動容器


向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

玉溪市| 桂平市| 沁水县| 三江| 娄烦县| 青阳县| 监利县| 赤壁市| 吉首市| 离岛区| 扎囊县| 开封市| 清苑县| 监利县| 杭锦后旗| 腾冲县| 青岛市| 马边| 双牌县| 怀柔区| 沁阳市| 富宁县| 武川县| 卫辉市| 堆龙德庆县| 琼结县| 科技| 拜泉县| 石狮市| 海阳市| 招远市| 周口市| 丹巴县| 沙洋县| 安平县| 肥城市| 象山县| 通渭县| 六枝特区| 扬州市| 庆阳市|