Hadoop1.2.1集群如何搭建

這篇文章主要為大家展示了“Hadoop1.2.1集群如何搭建”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Hadoop1.2.1集群如何搭建”這篇文章吧。

Hadoop集群搭建(-v1.2.1)

1. 官網下載安裝包(版本: 1.2.1) 2. 安裝依賴

• Java 和 ssh

3. 解壓安裝包，添加HADOOP_HOME變量到/etc/profile 4. 搭建集群

1. 機器規劃(三臺小集群)

<table> <tr><th>主機名</th><th>IP</th><th>Node</th><th>Tracker</th></tr> <tr><td>master</td><td>192.168.10.1</td><td>NameNode</td><td>JobTracker</td></tr> <tr><td>slave1</td><td>192.168.10.1</td><td>DateNode</td><td>TaskTracker</td></tr> <tr><td>slave2</td><td>192.168.10.2</td><td>DateNode</td><td>TaskTracker</td></tr> <tr><td>slave3</td><td>192.168.10.3</td><td>DateNode</td><td>TaskTracker</td></tr> </table>

2. 在三臺機器上創建相同的用戶: hadoop

3. 在三臺機器上分別配置/etc/hosts

192.168.10.1 master slave1 192.168.10.2 slave2 192.168.10.3 slave3

4. 在三臺機器上建立ssh-key，并設置免密碼登陸

   $ ssh-keygen -t dsa
   $ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys

   
   

將authorized_keys文件內容復制到另外兩臺主機的~/ssh/authorized_keys文件中 5. 將Hadoop安裝包復制到三臺機器中，修改Hadoop中的配置文件 - conf/Hadoop-env.sh export JAVA_HOME=path-to-jdk - conf/core-site.xml xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/tmp/hadoop</value> </property> </configuration> - conf/hdfs-site.xml xml <configuration> <property> <name>dfs.repliation</name> <value>3</value> <!--value的值跟slave數一致 --> </property> </configuration> - conf/mapred-site.xml xml <configuration> <property> <name>mapred.job.tracker</name> <value>hdfs://master:9001</value> </property> </configuration> - conf/master master - conf/slave text slave1 slave2 slave3

5. 啟動Hadoop服務

$ bin/hadoop namenode -format  #格式化hdfs
$ bin/start-all.sh  # 啟動所有進程
查看集群狀態:
http://localhost:50030  # MapReduce的Web頁面
http://localhost:50070  # HDFS的Web頁面
或
$ hadoop dfsadmin -report

6. 停止Hadoop服務 bin/stop-all.sh

以上是“Hadoop1.2.1集群如何搭建”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！