VMware虛擬機怎么搭建Hadoop2.7.1分布式集群

本篇內容介紹了“VMware虛擬機怎么搭建Hadoop2.7.1分布式集群”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

【架構介紹】

【準備工作】

1. VMware：11.0.0 build-2305329 (下載：http://pan.baidu.com/s/1skq0oP3 )

2. CentOS：CentOS-6.7-x86_64-bin-DVD1.iso (下載：http://pan.baidu.com/s/1o7xYgGE )

                    或Ubuntu(以CentOS為例，一般生產環境用的是CentOS)

3. 本地機器配置：

5. JDK

（1）版本1.7.9

（2）下載地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

【運行MapReduce】

1. 準備數據

    在本地目錄創建wordcount.txt文件，并隨便輸入寫英文，如：

aa bb cc dd

2. 上傳文件

hadoop fs -put ./wordcount.txt /workspace

3. 執行命令

hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /workspace/wordcount.txt /outpath

4. UI查看任務

http://192.168.159.130:8088/cluster/app/RUNNING

5. 查看結果

hadoop fs -cat /outpath/*

aa    1

bb    1

cc    1

dd    1 

【遇到的問題】

1. 拒絕連接

    問題描述：在啟動和運行任務時報連接拒絕等問題。

    解決方案：檢查防火墻是否已關閉。

2. resourcemanager起動失敗

    問題描述：啟動集群時，其他進程都正常，只有resourcemanager啟動失敗，或只啟動短暫幾秒鐘后失敗。

    解決方案：通過hadoop02機器（即resourcemanager所在機器）執行sh start-all.sh啟動集群。

3. 執行start-all.sh時出現異常

    問題描述：啟動集群時，報錯：Error:Cannot find configuration directory:/etc/hadoop

    解決方案：在 hadoop-env.sh  配置文件中將 export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"etc/hadoop"}替換成 export HADOOP_CONF_DIR=/usr/hadoop-2.6.0/etc/hadoop修改完后運行 source hadoop-env.sh 讓其立即生效！

4. 運行Wordcount報錯

    問題描述：跑自帶WordCount時候報mapreduce_shuffle does not exist。

    解決方案：在yarn-site.xml中加如下配置

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

5. 運行Wordcount一段時間后報錯

    問題描述：hadoop org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

    解決方案：百度說是集群的時間不同步，解決方法參考:
    http://www.chinadmd.com/file/tixiarput3eweszaceuzpttc_1.html
    http://www.aboutyun.com/thread-11397-1-2.html
    http://www.linuxde.net/2013/02/12232.html

“VMware虛擬機怎么搭建Hadoop2.7.1分布式集群”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！