Hadoop 2.4安裝與配置

一、hadoop2.4編譯方法可參考：Linux64位操作系統（CentOS6.6）上如何編譯hadoop2.4.0。

二、準備工具

1.部署準備兩個機器test1為Master，test2為Slave。

 在兩個機器上分別vim /etc/hosts，加入如下內容：  

192.168.1.100 test1  
192.168.1.200 test2

2.增加hadoop用戶

groupadd hadoop  
useradd hadoop -g hadoop  
passwd hadoop

3.設置Master無密碼登錄slave

 在test1下生成公鑰/私鑰對并復制到test2上。  

su hadoop  
ssh-keygen -t rsa -P ''  
scp ~/.ssh/id_rsa.pub hadoop@test2:~/.ssh/id_rsa.pub

 test2把從test1復制的id_rsa.pub添加到.ssh/authorzied_keys文件里  

cat id_rsa.pub >> authorized_keys  
chmod 600 .ssh/authorized_keys

4.修改句柄數：

ulimit -n 65535  
vim /etc/security/limits.conf增加如下內容：  
\*    hard    nofile   65535  
\*    soft    nofile   65535

三、配置hadoop

  將編譯好的hadoop2.4.0解壓后修改etc/hadoop目錄里的配置文件。

1.修改hadoop-env.sh

export JAVA_HOME=/opt/jdk

2.修改core-site.xml

<property>  
    <name>fs.default.name</name>  
    <value>hdfs://HDP125:9000</value>  
</property>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/home/${user.name}/tmp</value>  
</property>  
<property>  
    <name>fs.trash.interval</name>  
    <value>1440</value>  
</property>

 說明：

　　fs.defaultDFS：設置NameNode的IP和端口

　　hadoop.tmp.dir：設置Hadoop臨時目錄，（默認/tmp，機器重啟會丟失數據！）

　　fs.trash.interval：開啟Hadoop回收站 

3.修改hdfs-site.xml

<property>  
    <name>dfs.replication</name>  
    <value>1</value>  
</property>  
<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>/home/${user.name}/dfs_name</value>  
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/home/${user.name}/dfs_data</value>  
</property>  
<property>  
    <name>dfs.support.append</name>  
    <value>true</value>  
</property>  
<property>  
    <name>dfs.datanode.max.xcievers</name>  
    <value>4096</value>  
</property>

 說明：

　　dfs.replication：文件復本數

　　dfs.namenode.name.dir：設置NameNode存儲元數據(fsp_w_picpath)的本地文件系統位置

　　dfs.datanode.data.dir：設置DataNode存儲數據的本地文件系統位置

　　dfs.support.append：設置HDFS是否支持在文件末尾追加數據

　　dfs.datanode.max.xcievers：設置datanode可以創建的最大xcievers數

4.修改yarn-site.xml

<property>  
  <name>yarn.nodemanager.aux-services</name>  
  <value>mapreduce_shuffle</value>  
</property>  
<property>  
  <name>yarn.resourcemanager.hostname</name>  
  <value>master</value>  
</property>  
<property>  
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property>  
<property>  
  <name>yarn.timeline-service.hostname</name>  
  <value>master</value>  
</property>

5.修改mapred-site.xml

<property>  
  <name>mapreduce.framework.name</name>  
  <value>yarn</value>  
</property>

6.修改slave

test1  
test2

7.把配置好的Hadoop程序復制到其它節點

scp -r /opt/hadoop hadoop@test2:/opt/  
chown -R hadoop:hadoop /opt/hadoop

四、啟動和關閉hadoop

1.第一次使用一個分布式文件系統，需要對其進行格式化：

./bin/hadoop namenode –format

2.啟動Hadoop：

sbin/start-all.sh

3.關閉Hadoop：

sbin/start-all.sh

4.Hadoop自帶的WEB管理界面

   http://test1:50070