hadoop-0.20.1如何部署

這篇文章主要介紹hadoop-0.20.1如何部署，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

hadoop-0.20.1部署

因為需要分析大量的訪問日志，現有的分析方式（單機）不能滿足需求，因此需要部署hadoop來解決這個問題。在我做分布式文件系統之前，曾經部署測試過hadoop，使用的版本為hadoop-0.19.0，記得當時配置起來很快就成功了。這次測試，我使用的是***版本hadoop-0.20.1,在部署過程中，花了不少時間才做成功（2天）。為備忘，特記錄之。

hadoop-0.20.1跟舊的版相比，有些文件發生了變化，主要的變化是conf目錄，
網上現有的hadoop文章，需要修改的文件是hadoop-site.xml,可是hadoop-0.20.1版本確沒有這個文件，取而代之的是core-site.xml。

一、部署hadoop

hadoop部署分兩步：名稱節點（namenode）無密碼訪問各數據節點(datanode)和配置hadoop.我的實驗環境為一個名稱節點，兩個數據節點.不幸的是其中的一個數據節點壞了。因此只能用一個數據節點來測試。在這個測試中，namenode的ip:192.168.199.135，datanode的ip:192.168.199.136.

(一)、名稱節點（namenode）無密碼訪問各數據節點(datanode)

1、名稱節點和數據節點各自創建用戶hadoop,使用相同的密碼。

2、以hadoop用戶名登陸名稱節點執行ssh-keygen-trsa然后一路回車，完畢后生成文件.ssh/id_rsa.pub,把這個文件復制到當前位置，命名為authorized_keys；然后執行命令ssh227.0.0.1,如果不需要密碼則直接登陸進去的話，就達到要求；否則需檢查authorized_keys的權限，看是否為644（-rw-r–r–）。接下來，同樣也hadoop用戶登陸數據節點服務器，創建.ssh目錄，并給與600權限（chmod600.ssh）;再把名稱服務器上的authorized_keys復制到目錄./ssh,注意權限和目錄結構跟名稱節點保持一致，然后再從名稱節點用ssh登陸數據節點，如果不需要密碼能登陸成功，則ssh的配置結束。再來看一下hadoop-0.20.1部署中Hadoop的配置。

(二)hadoop配置

1、下載jdk并設置。我的JAVA_HOME=/usr/local/jdk1.6.0_06

2、下載hadoop，解包，復制到/usr/local/hadoop.即HADOOP_HOME=/usr/local/hadoop

3、數據存放目錄分離，即數據的實際存放不在HADOOP_HOME（網上的n多文章是在hadoop安裝目錄）.我用2個1TB的硬盤單獨來存放實際的數據塊，其名稱為/disk2,/disk3.格式化這兩個硬盤并創建文件系統，然后掛接到這2個目錄。相關步驟省略。

4、設置目錄、文件的屬主。chown-Rhadoop:hadoop/disk2/disk3/usr/local/hadoop
5、在文件/usr/local/hadoop/conf/mapred-site.xml加入如下內容：

<property> <name>mapred.job.tracker</name> <value>hadoopm:9001</value> <description>ThehostandportthattheMapReducejobtrackerrunsat.If“local”,thenjobsarerunin-processasasinglemapand  reducetask.</description> </property>

6、修改文件/usr/local/hadoop/conf/slaves及/usr/local/hadoop/conf/masters,把數據節點的主機名加到slaves、名稱節點主機名加到masters。可以加多個，每行一個。注意主機名需要在每個服務器的/etc/hosts映射好。

7、修改文件/usr/local/hadoop/conf/hadoop-env.sh,加入exportJAVA_HOME=/usr/local/jdk1.6.0_06一行即可。

8、在每個數據節點重復1~6這些步驟。

二、初始化和啟動hadoop集群

（一）hadoop的大部分操作都是在命名節點進行的。以hadoop用戶登陸系統然后執行hadoopnamenode-format,一般都能順利完成這個過程。執行完初始化后，各數據節點并沒有進行任何操作（最重要的事情就是生成一堆目錄）。

（二）啟動hadoop服務。命名服務器以hadoop用戶執行start-all.sh.查看進程，如果正常，應該看見2-3個java進程。啟動正常的話，數據節點開始生成相關的目錄。其對比輸出如下：

三、測試

1、查看hadoop狀態，使用命令$hadoopdfs-report.
2、創建目錄。$hadoopdfs-mkdirsery,然后再傳幾個大文件$hadoopdfs-put7.*sery.傳了900M左右的數據（2個iso文件），很快傳完。
3、故障測試。需要2個數據節點，先關閉一個數據節點，然后網hadoop創建目錄和拷貝數據。完畢后啟動被關閉的數據節點的服務，觀察其運行情況。

以上是“hadoop-0.20.1如何部署”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！