Hadoop環境如何實現離線安裝

這篇文章主要為大家展示了“Hadoop環境如何實現離線安裝”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Hadoop環境如何實現離線安裝”這篇文章吧。

1. 軟件下載

在離線安裝服務器前，需要在內網搭建一臺HTTP服務器，以供安裝相應的軟件。軟件需要提前下載到本地，這里不再贅述如何下載。

1.1. Linux安裝包

CentOS下載地址：http://isoredirect.centos.org/centos/6/isos/x86_64/

如果您有DVD安裝包（CentOS-6.5-x86_64-bin-DVD1to2），無需下載。

1.2. Hadoop安裝包

CDH: http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/

CM: http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/

Impala: http://archive.cloudera.com/impala/redhat/6/x86_64/impala/

官網地址: http://www.cloudera.com/

注：在下載RPM包是請將noarch目錄下面的包一并下載。

2. Yum源配置

2.1. 搭建HTTP服務器

默認安裝的CentOS系統自帶了Apache的HTTP服務，將其啟動即可。

# service httpd start

在瀏覽器中輸入：http://localhost 驗證

1.1. Linux源

在安裝Hadoop前，可能會需要除安裝系統時帶的組件外，還需要其它一些未安裝的組件，這時就需要Linux安裝包。再創建yum軟件源前，請先刪除或者備份系統自帶的源。

# cd /etc/yum.repos.d/

# rm –rf *.repo

1.1.1. 虛擬機鏡像源

請將鏡像加載到虛擬光驅中，在服務器的文件夾中建立軟連接，連接到虛擬光驅。CentOS bin安裝包包括兩個ISO鏡像，建議建立兩個虛擬光驅，將兩個鏡像全部加載進來。

# cd /var/www/html

# ln –s /media/CentOS_6.5_Final centos

# ln –s /media/CentOS_6.5_Final_ centos2

創建系統軟件源

# cd /etc/yum.repos.d/

在此目錄下面創建 centos.repo的源，內容如下：

1.1.2. 硬盤源

直接將系統安裝盤的內容拷貝到硬盤上，在http服務器目錄的文件夾中建立軟連接，連接到系統安裝盤所在的文件夾上。

# cd /var/www/html

# ln –s /tmp/CentOS_6.5_Final centos

# ln –s /tmp/CentOS_6.5_Final_ centos2

創建系統軟件源

# cd /etc/yum.repos.d/

在此目錄下面創建 centos.repo的源，內容如下：

1.2. Hadoop源

Hadoop源有三部分CDH、CM、Impala，我們借助CM在所有節點上進行安裝批量安裝Hadoop，并在日后進行管理。

Cloudera Manager （CM） 是業內第一家使用圖形化界面管理Hadoop集群的工具。使用CM可將部署時間從幾天縮短到幾小時， 它提供一個集群范圍內的、實時的運行節點及服務視圖，它能夠用來改變跨集群內的配置。它還包括了報告和診斷工具來觀察集群的性能和利用率。

將下載下來的CDH、CM、Impala等上傳到HTTP服務器，暫定放在 tmp文件夾下面，并生成rpm包的系統校驗文件repodata文件夾，同時在http目錄下面創建軟鏈接。如果沒有安裝ftp服務，請先安裝ftp服務。

創建CM源，如果是用CM進行安裝Hadoop，只需要創建CM源，安裝CM，當用CM進行批量安裝時，選擇系統本地源時，CM會創建相應的數據源。

1. 安裝ftp服務（可選）

# yum install vsftp

2. 創建repo源校驗，如果系統沒有安裝組件createrepo，請先安裝。

# yum install createrepo

# cd /tmp

# createrepo CDH

# createrepo CM

# createrepo Impala

3. 創建軟鏈接

# cd /var/www/html

# ln –s /tmp/CDH cdh5

# ln –s /tmp/CM manager

# ln –s /tmp/Impala impala

4. 創建系統源

# cd /etc/yum.repos.d

# vi myrepo.repo

2. Linux環境配置

2.1. 創建用戶

在所有的結點服務器上建立相同的用戶名ai和密碼asiainfo。添加此設置為了cm批量安裝時輸入相同的用戶名和密碼。

# useradd ai

# passwd ai

2.2. 網絡配置

為每臺機器配置固定IP，并設置開機自動連接。

安裝完cm后盡量不要修改IP, cm在安裝時會綁定IP, 修改IP會造成cm不能正確識別主機.

2.3. 修改主機名(hostname)

用root用戶打開network，修改為你想要的名字

# vi /etc/sysconfig/network

2.4. 關閉selinux

# vi /etc/selinux/config

2.5. 子節點互通配置

# vi /etc/hosts

2.6. 用戶sudo功能設置

添加此設置為了cm批量安裝時輸入相同的用戶名和密碼。

安裝下圖紅框里面內容格式修改為

ai ALL=(ALL) NOPASSWD:ALL

# vi /etc/sudoers

2.7. 關閉防火墻

關閉防火墻，并加入到開機自啟動里面，即開機就關閉防火墻。

# service iptables stop

# service iptables status

# vi /etc/rc.local

2.8. 配置ssh免key(可選)

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# ssh-copy-id 10.0.7.238 (10.0.7.238是你具體要和誰免key，自己也要和自己設置免key)

2.9. 配置時間同步(需重寫)

2.9.1. 修改時區:

2.9.2. 使用pdsh同步

上傳pdsh并解壓

# tar -xvf pdsh-2.26.tar

進入pdsh目錄，執行如下命令

# ./configure -with-ssh --without-rsh

# make

# make install

在156主節點上執行下面命令，目的是將ip為 157、158的機器的時間和10.0.7.156這臺機器同步，同步的時間是 13:51:19，

# pdsh -w ssh:10.0.7.[156,157,158] date -s 13:51:19

使用這種同步必須配置ssh免key

2.9.3. 使用NTP server同步

主節點需要設置的部分

3. Hadoop安裝

3.1. 安裝cm

借助cm的bin包安裝校驗cm。通常用bin包離線安裝時會報錯找不到數據源，其實只需安裝bin中設定的rpm安裝順序安裝即可。如果不放心最后可以用bin包在執行一遍驗證。

下載地址：http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin

RPM包安裝順序：

# rpm -i jdk-6u31-linux-amd64.rpm

# rpm -i cloudera-manager-daemons-4.8.2-1.cm482.p0.101.el6.x86_64.rpm

# rpm -i cloudera-manager-server-4.8.2-1.cm482.p0.101.el6.x86_64.rpm

# rpm -i cloudera-manager-agent-4.8.2-1.cm482.p0.101.el6.x86_64.rpm

# rpm -i cloudera-manager-server-db-4.8.2-1.cm482.p0.101.el6.x86_64.rpm

# rpm -i enterprise-debuginfo-4.8.2-1.cm482.p0.101.el6.x86_64.rpm

# ./cloudera-manager-installer.bin --skip_repo_package=1

在瀏覽器中輸入網址 http://10.1.195.60:7180/cmf/login

用戶名/密碼：admin/admin

3.2. 安裝CDH

選擇Free版

輸入集群中所有的IP或者host, 每行一個，回車換行。

這步需要選的很多，比照下面的來選（做）就OK。

確保輸入的路徑和HTTP服務器配置的路徑一致, 在瀏覽器中可以訪問。

如：

http://10.1.195.60/manager/

http://10.1.195.60/impala/

http://10.1.195.60/cdh5/

用戶使用ai，所有主機接受相同密碼，密碼統一為asiainfo

請確保一致, 后續有腳本需要使用.

按下圖勾選服務, 點擊”檢查角色分配”, 因各省機器數量不一致, 分配方案不一樣. 各省詳見單獨設置文檔.

查看”DataNode數據目錄”, 分配路徑在”/opt”下, 安裝時確保所有硬盤已掛載. Cm會自動選擇最大的分區.

以上是“Hadoop環境如何實現離線安裝”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！