您好,登錄后才能下訂單哦!
對hadoop初學者來說,或者說正在使用hadoop的開發者來說,hadoop環境的搭建不是一件省心的事,甚至很多博客上都重要的事說三便“不要花精力在搭建環境之上”,可見很多人在搭建環境時會遇到很多問題,并且會花費很多時間,本文將把所有的“玩法”都過一下,相信看完之后,你心里就有數了,將會依據自己的需求來選擇合適的搭建方式。
部署方式 | 優勢 | 不足 | 適合場合 |
Apache Hadoop 單機 | 單臺機器即可 簡單 所需組件少 | 一般不用于生產 無HA 無法體現分布式 | 初學 開發測試 小規模試用 |
Apache Hadoop 集群 | 靈活的版本選擇 自主可控性較好 應用場景廣泛 | 需專業人員管理 組件間兼容性差 配置、運維復雜 | 學習 開發測試 生產環境 |
CDH或 HDP | Web管理和監控 開源廠商支持 兼容性和穩定高 | 仍需大量配置 受制于廠商 更新版本稍慢 | 開發測試 生產環境 |
其它廠商類CDH | 有自己擴展特性 廠商支持 | 非免費 嚴重受制于廠商 | 生產環境 |
編寫shell部署運維腳本 | 自控性好 配置簡單 靈活性好 | 需編寫腳本 測試費時 需不斷完善 | 學習 開發測試 生產環境 |
通過上面的對比,總結如下:
初學hadoop,希望快速開始,采用第一種apache單機,無基礎的情況下1個小即可完成,有linux基礎除掉安裝虛擬機、linux的時間,10分鐘可完成;
用于生產環境或測試環境,采用第三種cdh方式,管理集群都是圖形化,但是缺少了對內部深層次的了解;
對于深入學習者,已經有一定經驗和積累了,可以選最后一種,不斷可以深入的了解內部各進程依賴關系,還可以提升shell腳本文件編程水平。
關于每一種環境的詳細搭建方式,將會分幾個章節在后面分別介紹,另外如果可能也會錄制一些免費視頻,詳細的講解一下操作步驟。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。