Hadoop 2.x的HA和Federation怎么理解

這篇文章主要介紹“Hadoop 2.x的HA和Federation怎么理解”，在日常操作中，相信很多人在Hadoop 2.x的HA和Federation怎么理解問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop 2.x的HA和Federation怎么理解”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

HDFS2.0之HA

主備NameNode：
　　1、主NameNode對外提供服務，備NameNode同步主NameNode元數據，以待切換；
　　2、主NameNode的信息發生變化后，會將信息寫到共享數據存儲系統中讓備NameNode合并到自己的內存中；
　　3、所有DataNode同時向兩個NameNode發送心跳信息（塊信息）；

兩種切換方式：
　　1、手動切換：通過命令實現主備之間的切換，可以用于HDFS升級等場合；
　　2、自動切換：基于Zookeeper實現；
　　　　Zookeeper Failover Controller：向Zookeeper注冊NameNode并監控NameNode健康狀態，當NM掛掉后，ZKFC為NameNode競爭鎖，獲得鎖的NameNode變成active；

多種共享數據存儲系統可供選擇
　　1、NFS
　　2、多個Journal Node構成集群（推薦）
　　　　基本原理，數據同時寫入所有的JN，多數寫入成功，則認為寫成功；
　　　　一般配置奇數個JN，JN越多，容錯性越好；比如有3個JN，只要兩個寫成功，則數據寫成功，最多允許一個JN掛掉；
　　3、Bookeeper

相對于hadoop1.x中多了備NameNode，JournalNode(存儲共享數據)，ZKFC&ZK(主備NN切換)

HDFS2.0之Federation

多個NN同時對外提供服務，每個NN分管一部分目錄，多個NN共享底層DN存儲；
此時每個NN都還是存在單點故障問題的，故還需要給Federation節點配置一個備用NN；
所有整個HADOOP2集群中可能存在的NN有：多個NN以及每個NN對應的備NN

帶來的好處：單個NN內存和并發壓力減小，NN彼此隔離，互不影響；

常見應用方法：
　　為不同業務創建不同NN，防止相互影響；（一個NN給開發用，一個NN測試用）
　　為不同需求創建不同NN，比如測試用的NN，生產用的NN；

HDFS2.0之其他實現機制（與1.0版本基本一致）

1、文件放置策略
　　文件被切成若干個block，存放在不同節點上；
　　切分過程對用戶透明；

2、文件容錯策略
　　基于副本的容錯機制；
　　流水線復制；

3、副本放置策略
　　一個節點（1個rack）+ 兩個節點（另1個rack）

到此，關于“Hadoop 2.x的HA和Federation怎么理解”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！