linux中如何搭建hadoop單機模式

這篇文章將為大家詳細講解有關linux中如何搭建hadoop單機模式，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

運行環境

ubuntu版本------ubuntukylin-14.04.2 64位版本

Hadoop版本------Hadoop2.6.4-release

虛擬機版本-------VMware Workstation Pro 12.0

Jvm版本---------Jdk1.7以上

安裝步驟

1．安裝ubuntu

虛擬機安裝ubuntu時安裝完一個虛擬機后可選擇clone直接復制出來相同的克隆版本省去安裝時間

安裝ubuntu并建立hadoop用戶，為后續集群ssh通道做預備，不建議使用root用戶進行一系列操作，具體原因百度，root遠程可對系統資源進行任意修改，切記，具體shell腳本如下

groupadd hadoop
useradd -mg hadoop hadoop
#-m指的是在/home/目錄下新建一個與用戶名相同的文件夾
#-g指的是添加用戶組
passwd hadoop
#回車后將密碼設置成123456 ps:密碼限于開發調試，生產環境切勿大意，設立復雜度高密碼保障安全

1．安裝jvm

下載Java對應版本的tar.gz包如下圖所示

Ps：centos下 下載rpm包可直接使用RPM命令進行安裝，ubuntu下建議使用gz包進行安裝，筆者嘗試安裝rpm插件進行rpm安裝，把系統搞殘了 有經驗的大神歡迎留言指導，謝過了

在/usr/lib目錄下新建jvm目錄，將gz包解壓到/usr/lib/jvm目錄下，并將java-***包重命名為java 重命名命令

Mv java-***** java

打開環境變量預執行文件 gedit /etc/profile

添加這幾行環境變量

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

輸入命令后重啟系統或者直接執行source /etc/profile 執行預加載腳本變量

輸入命令java -version 打印出現如上圖所示版本信息，代表jdk安裝成功

2．調試hadoop單機運行

進入hadoop腳本環境配置文件

gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

將JAVA_HOME修改為絕對路徑.

Ps:至于為什么默認配置的${JAVA_HOME}不起作用，筆者暫時未找到原因歡迎大神們進行補充

#配置hadoop ssh 無密碼登錄 --需求背景，由于hadoop集群動轍幾十上百臺機器進行集群計算

假如進行密鑰輸入認證會增加許多運維的工作量，所以社區內普遍進行公有密鑰進行交換比對登錄

進入hadoop用戶home目錄 /home/hadoop/ 找到 .ssh 目錄沒有則新建，注意將文件夾所有權修改為hadoop用戶所有

安裝ssh服務

sudo apt-get install openssh-server
sudo apt-get install openssh-client

嘗試輸入命令ssh localhost 出現輸入密碼界面則代表ssh服務端與客戶端安裝成功

l 配置免密碼登錄

進入hadoop用戶home目錄下

cd /home/hadoop

能看見.sshwe文件夾，進入.ssh文件夾

執行一下命令生成ssh免登錄的公鑰和私鑰

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

這個命令會在.ssh文件夾下創建id_dsa和id_dsa.pub兩個文件，這是SSH的一對私鑰和公鑰

現在把id_dsa.pub追加到公鑰中去，執行以下命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

現在切換到hadoop用戶登錄，在嘗試用ssh進行遠程連接

ssh localhost是不是得到以下畫面

代表免登錄配置成功

進入hadoop目錄/opt/hadoop/hadoop/

執行./sbin/start-all.sh 腳本啟動hadoop

由于是單機運行hadoop，nameNode 和 Jobtracker都沒有啟動如何查看hadoop是否啟動呢？

查看HDFS文件系統

./bin/hadoop fs -ls /

出現以上信息，恭喜，代表你單機安裝hadoop成功。Hdfs文件結構就是如linux一樣

關于“linux中如何搭建hadoop單機模式”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。