溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
規劃硬件我們主要介紹兩個方面：一個是Master怎么規劃，一個是Slave怎么規劃，選擇是不一樣的。其他規劃諸如容量以及操作系統的選擇也會簡單介紹，對于了解Hadoop的操作環境有著重要幫助作用。
首先我們看一下Slave，它是用來存儲數據然后進行計算的，在選擇配置的時候通常要優先考慮處理器。我們知道Hadoop的核心并不是在單臺機器上進行多復雜的運算，它是分布式的，所以對于處理器的要求并不高，那么選擇中等的數據器就可以（比如：2*6核2.9主頻）。
至于內存方面，要盡可能給高一點，中端給到256GB RAM，高端的給到512GB RAM。網絡方面中端給到1GB以太網，高端的給到10GB以太網。這里重點要講的是磁盤驅動，16*3TB SATA驅動（中端的），24*1TB SAS驅動（高端的），我們發現越高端磁盤越多，訪問效率也就越高。在磁盤驅動這里也會涉及到一個概念Non-RAID，大家了解一下，具體可以自己去挖掘。
交換機使用專用的網絡設施，Hadoop將會使資源飽和，節點都連接到機架交換機，機架之間通過核心交換機通信。
接下來我們重點強調Master節點，Master沒有業務數據，不需要計算，但是Master存儲有源數據，所以Master節點很重要，在使用機器的時候如果條件允許，最好選擇高端的機器，運營商級別的硬件，雙電源、以太網卡，所有的模塊都做冗余。它配置有Raid，因為Master上面就是源數據，數據沒有拷貝。20個節點以下集群配置64GB RAM，300個節點以下集群配置96GB內存，更大的集群配置128GB內存。
至于容量規劃以及操作系統的選擇，我們不做過多的說明，了解就可以。容量規劃我們重點考慮復本機制和臨時空間，以及服務器本身需要的空間。在這里我們必須清楚Hadoop自動使用新節點，很多集群開始很小（少于10個節點），并隨著數據和處理的增長而增長，Hadoop集群可以增長到上千個節點。而操作系統一般選擇擅長管理的發行版，也可以了解一下幾個：CentOS：面向服務器，而不是工作站；RedHat企業版linux；Ubuntu非常流行的發行版；使用LTS（長期支持）的版本；SuSE在歐洲非常流行的發行版。
以上就是根據自己的經驗對Hadoop硬件環境做的一個介紹，如果有什么不清楚的，比如Non-raid，可以自己去找資源充電。我平常也喜歡看一些別人分享的學習知識，從而彌補自己知識體系的欠缺，比如“大數據時代學習中心”。另外喜歡看一些實際的大數據案例，試著去分析案例中的問題，不斷提升自己調用知識的能力，比如“大數據cn”，大家共勉，一起進步。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
