Hadoop集群怎么搭建

本篇內容介紹了“Hadoop集群怎么搭建”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

Hadoop集群搭建

先決條件
確保在你集群中的每個節點上都安裝了所有必需軟件。
獲取Hadoop軟件包。

安裝
安裝Hadoop集群通常要將安裝軟件解壓到集群內的所有機器上。
通常，集群里的一臺機器被指定為NameNode，另一臺不同的機器被指定為JobTracker。這些機器是masters。余下的機器即作為DataNode也作為TaskTracker。這些機器是slaves。
我們用HADOOP_HOME指代安裝的根路徑。通常，集群里的所有機器的HADOOP_HOME路徑相同。

配置
接下來的幾節描述了如何配置Hadoop集群。

配置文件
對Hadoop的配置通過conf/目錄下的兩個重要配置文件完成：
hadoop-default.xml-只讀的默認配置。
hadoop-site.xml-集群特有的配置。
要了解更多關于這些配置文件如何影響Hadoop框架的細節，請看這里。
此外，通過設置conf/hadoop-env.sh中的變量為集群特有的值，你可以對bin/目錄下的Hadoop腳本進行控制。

Hadoop集群配置
要配置Hadoop集群，你需要設置Hadoop守護進程的運行環境和Hadoop守護進程的運行參數。
Hadoop守護進程指NameNode/DataNode和JobTracker/TaskTracker。

配置Hadoop守護進程的運行環境
管理員可在conf/hadoop-env.sh腳本內對Hadoop守護進程的運行環境做特別指定。
至少，你得設定JAVA_HOME使之在每一遠端節點上都被正確設置。
管理員可以通過配置選項HADOOP_*_OPTS來分別配置各個守護進程。下表是可以配置的選項。

守護進程配置選項
NameNodeHADOOP_NAMENODE_OPTS
DataNodeHADOOP_DATANODE_OPTS
SecondaryNamenodeHADOOP_SECONDARYNAMENODE_OPTS
JobTrackerHADOOP_JOBTRACKER_OPTS
TaskTrackerHADOOP_TASKTRACKER_OPTS
例如，配置Namenode時,為了使其能夠并行回收垃圾（parallelGC），要把下面的代碼加入到hadoop-env.sh:
exportHADOOP_NAMENODE_OPTS="-XX:+UseParallelGC${HADOOP_NAMENODE_OPTS}"
其它可定制的常用參數還包括：
HADOOP_LOG_DIR-守護進程日志文件的存放目錄。如果不存在會被自動創建。
HADOOP_HEAPSIZE-***可用的堆大小，單位為MB。比如，1000MB。這個參數用于設置hadoop守護進程的堆大小。缺省大小是1000MB。

配置Hadoop守護進程的運行參數
這部分涉及Hadoop集群的重要參數，這些參數在conf/hadoop-site.xml中指定。

參數取值備注
fs.default.nameNameNode的URI。hdfs://主機名/
mapred.job.trackerJobTracker的主機（或者IP）和端口。主機:端口。
dfs.name.dirNameNode持久存儲名字空間及事務日志的本地文件系統路徑。當這個值是一個逗號分割的目錄列表時，nametable數據將會被復制到所有目錄中做冗余備份。
dfs.data.dirDataNode存放塊數據的本地文件系統路徑，逗號分割的列表。當這個值是逗號分割的目錄列表時，數據將被存儲在所有目錄下，通常分布在不同設備上。
mapred.system.dirMap/Reduce框架存儲系統文件的HDFS路徑。比如/hadoop/mapred/system/。這個路徑是默認文件系統（HDFS）下的路徑，須從服務器和客戶端上均可訪問。
mapred.local.dir本地文件系統下逗號分割的路徑列表，Map/Reduce臨時數據存放的地方。多路徑有助于利用磁盤i/o。
mapred.tasktracker.{map|reduce}.tasks.maximum某一TaskTracker上可運行的***Map/Reduce任務數，這些任務將同時各自運行。默認為2（2個map和2個reduce），可依據硬件情況更改。
dfs.hosts/dfs.hosts.exclude許可/拒絕DataNode列表。如有必要，用這個文件控制許可的datanode列表。
mapred.hosts/mapred.hosts.exclude許可/拒絕TaskTracker列表。如有必要，用這個文件控制許可的TaskTracker列表。
通常，上述參數被標記為final以確保它們不被用戶應用更改。

“Hadoop集群怎么搭建”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！