hadoop 搭建過程中的一些坑

俺是按照下面這篇文章進行搭建的：

http://cio.51cto.com/art/201705/539356.htm

說實話，上面這篇文章很好。幾乎不用改。一步一步按照搭建，沒有問題。

俺遇到的坑是：

1. master連接不上slave.這可咋辦。配置文件都沒問題啊。

   

   解決方法： namenode經過多次格式化，產生了多個clusterID導致。（往后不敢隨便格式化玩了）

   只要確保master的clusterID和slaveID一致，就能連上了。

   俺的路徑是：master: hadoop273/hdfs/name/current/VERSION

         slave : hadoop273/hdfs/data/data/VERSION

   就是把VERSION里面的clusterID一樣。其他都不用改。（layoutVersion也不用改。

   這篇文章末尾也有用：http://blog.csdn.net/zzu09huixu/article/details/24725769

   還有這篇：http://blog.csdn.net/longzilong216/article/details/20648387

2. ===============================

   主機名的問題：/etc/hosts  和  /etc/sysconfig/network  里面，主機名要一致。

   俺這2個文件都改了，還是不認主機名。ping主機名都ping不通。俺不敢重啟。于是

   hostname “主機名”，用一個命令臨時生效。就通了。

3. ==================================

   java，俺是自己安裝的。從網上找的文章：

   http://www.cnblogs.com/shihaiming/p/5809553.html

   安裝完之后，就OK了。

    切記，java版本，和裝hadoop那篇文章中的版本，要相應的對起來。我的意思是，名字要改，   比如我裝的是jdk1.8.0_131.hadoop那篇文章裝的是jdk1.8.0_101. 改一下文件夾名字，就行了。

4.===========================

文中的配置，別隨便亂改。

hadoop 剛開始，我用root安裝的。后來，為了讓hadoop這個用戶用。我就改了屬組和屬主。并hadoop273(文件夾)和java（文件夾）權限，全都777.

    chown -R hadoop:hadoop  hadoop273

    chmod -R 777 hadoop273

這下，hadoop可以用了。

后來，為了其他用戶的權限分配問題。我又改了文件夾權限(改之前，先備份)：

chmod -R 755 hadoop273

chmod -R 755 java

5.測試命令：

俺用的是（從別人那里抄來的）：

運行示例程序：

先在hdfs上創建一個文件夾

./bin/hdfs dfs –mkdir /input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriter input

就是上面這2條命令，就ok拉。randomwriter 這是個文件呢還是文件夾，我也不知道。我的系統上反正沒有，但是敲這2條命令，就能測試出來，是真的。

6.ssh免密登錄：

在啟動的時候：

sbin/start-dfs.sh

sbin/start-yarn.sh

或者:sbin/start-all.sh

就這幾條命令，每次都得輸入密碼。還輸入4次。可煩人了。就算復制粘貼也還是煩人。

用下面這個連接，解決了我的問題：

http://blog.csdn.net/firehadoop/article/details/68953541

把master的公鑰拷貝到slave即可。master到slave上面，不用輸密碼。

反過來。slave到master上面，還得輸入密碼。

剛開始，我還以為，master上啟動一遍集群，slave上面還得啟動一遍。原來，只要在master上面啟動了，slave上就自動啟動了呀。哎哎，才明白。