centos下安裝分布式Hadoop 3.1.1

發布時間：2020-07-05 13:52:05 來源：網絡閱讀：41350 作者：TaoismLi 欄目：大數據

一）安裝環境

centos 7

JDK 1.8.0_181

VMware 12 pro

hadoop 3.1.1

二）安裝環境準備

分布式系統準備
下面示例中，我安裝了3個獨立的虛擬機系統，其中HW-Machine作為master，另外2臺分別為slaves：
Java環境配置 //3臺虛擬機均需配置
JDK安裝包的獲取以及Java環境的配置，請參考另一篇博文《Centos下Java環境安裝配置》。
靜態IP設置 //3臺虛擬機均需設置，并修改/etc/hosts文件及/etc/hostname文件
由于分布式系統配置時，會寫入系統主機名或者主機IP，因此我們需要對Hadoop環境所用的系統主機設置靜態IP，具體設置方法，請參考另一篇博《VMware中Centos系統設置靜態IP》。
我這里的設置情況如下：
SSH免密碼登錄配置 //3臺虛擬機均需配置
Hadoop的master與slave之間的數據傳輸會使用SSH，因此我們還需要對Hadoop環境所用的系統主機設置SSH免密碼登錄，具體設置方法，請參考另一篇博文《Centos設置SSH免密碼遠程登錄》。

三）Hadoop安裝配置

注：

a. hadoop要求，所有用到的主機系統需要建立相同的用戶，在本例中我直接使用root賬號，因此所有操作均是以root賬號；

b. 對應下面配置文件修改，未特別說明，只需修改master上面的文件。

Hadoop下載
直接去apache官網下載http://mirrors.hust.edu.cn/apache/ ，如本次實驗中下載的是： hadoop-3.1.1.tar.gz
直接解壓下載軟件包： tar -zxvf hadoop-3.1.1.tar.gz -C DestinationFolder，比如我解壓到了/usr/local/目錄下面（這里的3臺系統均需下載并解壓）
配置文件修改
3.1 修改core-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，3個系統都必須修改該文件
3.2 修改hadoop-env.sh文件，文件位置/xxx/etc/hadoop/目錄下，3個系統都必須修改該文件
或者如下修改（注意JAVA_HOME與HADOOP_HOME根據你自己環境配置設定），多添加紅框內的內容，這樣設置后可以省略后面的3.7，3.8，3.9三個步驟：

3.3 修改hdfs-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點
或者，按如下設置（注意根據master實際配置，修改name、data目錄路徑及namenode的地址）：

3.4 修改mapred-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點
注意：該文件可以只用設置此一個屬性，其他會默認初始化。
3.5 修改workers文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點
注意：這里可以只設置slave1和slave2，這樣master系統就不會作為DataNode節點。
3.6 修改yarn-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點
注意：這里也可以只用設置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services屬性。
3.7 修改start-dfs.sh及stop-dfs.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入如下變量：
HDFS_DATANODE_USER=root