Hadoop的安裝步驟

本篇內容主要講解“Hadoop的安裝步驟”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop的安裝步驟”吧!

環境：

Ubuntu14.04

Hadoop 2.4.0,Hive  0.13.1

一.單機模式

1.安裝全新的Ubuntu系統,用sudo apt-get update 和 sudo apt-get upgrade 更新系統，這步屬個人習慣，可以不做。

2.創建hadoop用戶組和hadoop帳號：

   sudo addgroup hadoop

   sudo adduser -ingroup hadoop hadoop

3.編輯/etc/sudoer文件給hadoop帳號開與root一樣的權限 hadoop  ALL=(ALL:ALL) ALL

4.用hadoop用戶登錄：su hadoop

5.確認openssh已經安裝如未安裝則安裝：

     sudo apt-get install openssh-server

     sudo /etc/init.d/ssh start

6.創建免密碼登錄，生成私鑰和公鑰

ssh-keygen -t rsa -P ""

7.將公鑰追加到authorized_keys中，它用戶保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

8.ssh localhost 測試無密碼登錄。

9.安裝java環境（最好安裝sunjdk，不要安裝openjdk）

    a. 下載最新版的jdk，并解壓

    b.創建安裝目錄mkdir /usr/lib/jvm

    c.將解壓好的jdk移動到安裝目錄，如：sudo mv jdk1.7/ /usr/lib/jvm/java-7-sun

    d. 編輯~/.bashrc以配置java的環境：

          export JAVA_HOME=/usr/lib/jvm/java-7-sun 
          export JRE_HOME=${JAVA_HOME}/jre 
          export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

          export PATH=${JAVA_HOME}/bin:$PATH 

    e. source ~/.bashrc 使配置生效，env查看結果，

    f.配置默認程序

      sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300 
      sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300 
      sudo update-alternatives --config java                                                                                                                     sudo update-alternatives --config javac

   g.java -version;avac -version 查看java版本號是否正確。

(Ps: 之前我裝的是java1.8版本，但是在后面編譯hadoop的時候保存了，然后果斷換成1.7版本，一切正常）

10.下載hadoop 最新版 http://mirror.bit.edu.cn/apache/hadoop/common/ 并解壓；

11.創建hadoop安裝目錄 sudo mkdir /usr/local/hadoop,將解壓后的hadoop文件夾移過去 sudo mv ./hadoop-2.4.0/* /usr/local/hadoop;修改hadoop安裝目錄權限 sudo chmod 774 /usr/local/hadoop

12.配置haoop環境變量，vi ~/.bashrc 

14.測試

單機模式安裝完成，下面通過執行hadoop自帶實例WordCount驗證是否安裝成功

    /usr/local/hadoop路徑下創建input文件夾    

mkdir input

    拷貝README.txt到input    

cp README.txt input

    執行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

至此，單機版配置完成，其實還是很簡單的。

二.偽分布式

15.

設定*-site.xml
這里需要設定3個文件：core-site.xml,hdfs-site.xml,mapred-site.xml，都在/usr/local/Hadoop/conf目錄下
core-site.xml:  Hadoop Core的配置項，例如HDFS和MapReduce常用的I/O設置等。
hdfs-site.xml:  Hadoop 守護進程的配置項，包括namenode，輔助namenode和datanode等。
mapred-site.xml： MapReduce 守護進程的配置項，包括jobtracker和tasktracker。   

首先在hadoop目錄下新建幾個文件夾

~/hadoop$ mkdir tmp
~/hadoop$ mkdir hdfs
~/hadoop$ mkdir hdfs/name
~/hadoop$ mkdir hdfs/data

編輯配置文件：

core-site.xml:

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

16.格式化 hdfs /usr/local/hadoop/bin/hadoop namenode -format 結果類似

17.啟動hadoop  /usr/local/hadoop/sbin/start-all.sh (老版本啟動程序是在/usr/local/hadoop/bin目錄里)，運行jps，出現如下結果說明成功：

首先在dfs中創建input目錄

Hadoop@Ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input 

將conf中的文件拷貝到dfs中的input

hadoop@ubuntu :/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input

在偽分布式模式下運行WordCount

hadoop@ubuntu :/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output

18.運行 /usr/local/hadoop/bin/hadoop dfsadmin -report 查看運行狀態 或輸入http://ip:50070查看web版運行狀態

19.運行測試例子

首先在dfs中創建input目錄

Hadoop@Ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input 

將conf中的文件拷貝到dfs中的input

hadoop@ubuntu :/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input

在偽分布式模式下運行WordCount

hadoop@ubuntu :/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output

PS：在64位版本下會報“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”的錯誤，這是因為hadoop網站提供的是32位版本，在64位下需要自己下在hadoop源碼重新編譯，但我重新編譯了以后仍然報錯，打開debug模式后發現是lib的路徑錯了，于是cp /usr/local/hadoop/lib/native/* /usr/local/hadoop/lib/ 問題解決。

到此，相信大家對“Hadoop的安裝步驟”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！