Hadoop分布式集群最快部署配置攻略

本文只是介紹apache hadoop完全分布式的最簡化部署配置 沒有對性能進行優化
實際生產環境hadoop的調優參數有幾十個

Hadoop簡介

Hadoop的框架最核心組成結構就是：HDFS和MapReduce。
HDFS是海量數據的分布式存儲方案
MapReduce為海量的數據提供了計算

部署環境

1. centos 7 3臺或者4臺 如果需要secondarynamenode的情況
   分別是namenode datanode0 datanode1 secondarynamenode暫時不配置

2. hadoop 2.7.5

部署步驟

1. 去官網下載apache hadoop2.7.5的binaray包，是tar.gz格式。直接使用wget或者curl下載到namenode即可。
2. 解壓tar.gz包 使用命令tar xf xxxxxxx-hadoop-xxxx.tar.gz 解壓之后會看到當前目錄下有一個hadoop的目錄
3. 將解壓后的目錄復制到相應的文件 如：有人習慣放在/opt下，有人習慣在/usr/local下，這個因人而異吧，目前我的做法是創建一個如/app的目錄，然后將hadoop的目錄復制到這個目錄下，操作如下：mkdir /app 創建一個app目錄 然后使用cp -r hadoop-xxxx /app/ 將hadoop-xxxx的目錄復制到/app/下，這里注意 -r參數
4. 配置ssh免密登錄權限，也就是要讓namenode可以無密碼登錄其他的節點
5. 配置etc/hadoop/core-site.xml
   指定namenode
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://namenode/</value>
   </property>
6. 配置etc/hadoop/hdfs-site.xml
   指定副本數量
   <property>
   <name>dfs.replication</name>
   <value>1</value>
   </property>
7. 配置etc/hadoop/yarn.xml
   指定資源管理器的主機
   <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>localhost</value>
   </property>
   指定節點管理器的主機
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
   </property>

8. 配置etc/hadoop/mapred-site.xml
   指定mapreduce框架
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>

9. 配置etc/hadoop/slave文件，將datanode添加進去，本文環境就是datanode0和datanode1

10. 從namenode將hadoop的目錄復制到其他節點，包括所有的binary，腳本，配置文件，默認其他節點的目錄位置和結構與namenode一致

11. 格式化hdfs
    hdfs namenode -format

12. 使用sbin/start-all.sh啟動集群即可