Hadoop基礎概念是什么

本篇內容主要講解“Hadoop基礎概念是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop基礎概念是什么”吧!

    大數據為什么會興起？沒有大數據以前是怎么做的？這2個問題其實以我的經驗回答不是很合適，但是既然提到，就僅從個人的經驗出發來說下必要性。進入大數據行業第一節公司是一個移動SDK公司，主要是嵌入SDK通過展示廣告、APP推薦下載等來給開發者帶來收入。當時的第一個項目是分析這些SDK一天的日志（apache日志），對下載的每個APP按省份做一個排序。任務交給了SDK開發團隊，具體的方案不清楚，但是一天的數據需要跑10小時以上（記憶模糊，4年前文章提到過此事）。后來用Hadoop，寫了簡單的MR處理，大概10多分鐘就搞定了，這就是大數據存在的意義，也能從一個角度反應為什么會興起。

    關于Hadoop，首先必須要介紹下概念？現在有很多初學者，一上來就問Datanode是什么？Datanode和NodeManager能不能在一臺節點上？對于這種問題，我的回答都是“太小白，先看看書吧”。對于Hadoop的學習，很多人從Cloudera Manager或者Ambari開始，我個人非常不建議。我還是覺得實戰前，先看看書，至少翻一本熟悉了以后，其他的可以邊學邊研究。而一開始就極度依賴這些工具，概念不清楚，至少會讓人覺得不專業，不是認真學習的料子。

    版本和分支：
參考官方wiki，https://wiki.apache.org/hadoop/Roadmap，目前hadoop主流分支有3條，分別是hadoop 1.X、hadoop 2.X和hadoop 3.X。
Hadoop1.X：是從hadoop 0.20發展而來，我還記得12剛開始玩hadoop的時候就是0.20.2，那時候在公司用的就是cdh4u3，后來的公司升級到了1.0，但是一直到14年離職，也都還是1.X，沒有升級到2.x，另外朋友私下聊天，其實那個時候還是以1.X為主的，2.X一般是新建集群才會使用。主要的原因就是因為升級中的風險，升級的詳細過程董西城老師有文章詳細介紹：http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-to-version-2/
Hadoop 2.X：Hadoop2.0除了api的改動，對外界最大的感知就是增加了Yarn作為mapreduce的調度系統，計算資源也從單一的slot改為了內存/CPU等資源，按nodemanager不同可以區別配置。此外hadoop2.X還解決了一些1.X中的大坑點，比如單點故障，提供了基于QJM和NFS2種不同的解決方案。
Hadoop3.X：當前資料不是很多，其中值得期待的就是實現了Erasure Coding（糾刪碼），EC的強大之一是可以將以往的3副本，減少為1.5副本，還能保證數據不會丟失，這一強大功能在云存儲領域廣泛應用。

后續的系列介紹中，我們選擇的版本是Hadoop2.X中的，2.6.4

概念介紹：

HDFS：Hadoop Distributed File System 

NameNode：hdfs主節點，不做實際存儲主要管理hdfs的元數據信息、維護文件塊和節點的對應關系以及維護用戶對文件的修改信息。  

DataNode：hdfs的工作節點，實際的數據處理和存儲節點。  

SecondaryNameNode：輔助節點，協助NameNode合并fsimage和edits文件，主要是做checkpoint的工作，在namenode宕機是可以及時恢復。    

CheckPoint Node:和Secondary NameNode作用一樣，只是因為Secondary名字容易混淆而添加，使用方法  

Backup Node：和Secondary、CheckPoint類似，提供checkpoint功能，但是會保留和namenode完全一致的信息  

Yarn：

ResourceManager：主節點，處理客戶端請求；管理NodeManager和Application Master；管理資源的調度和分配

NodeManager：工作節點，單個節點的資源管理；處理來自RM和AM的命令

Application Master：數據切分；為application申請資源，分配任務；監控任務的運行

                    WebAppProxyServer：顧名思義，yarn web頁面上對application的代理，主要是出于安全考慮

                    JobHistoryServer：主要負責處理任務的日志信息

            介紹了概念，開頭的問題，DataNode和NodeManager能不能部署到同一個節點就顯而易見了。答案是完全可以，而且這樣會很好，前提是要看好機器的配置，做好劃分。

到此，相信大家對“Hadoop基礎概念是什么”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！