hadoop中入門配置知識點有哪些

這篇文章給大家分享的是有關hadoop中入門配置知識點有哪些的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

環境

    本人使用的是 XUbuntu14.04 64位，在虛擬機下搭建的

• 安裝 JDK，配置環境變量

        配置 classpath，修改所有用戶的環境變量

sudo vim /etc/profile
#在文件最后添加 
#set java environment
export JAVA_HOME={path}
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
source/etc/profile  ##使環境變量生效

• 配置SSH無密碼嗎登陸

            在用戶根目錄創建隱藏文件夾 .ssh  (沒有的需要創建)

mkdir .ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

            驗證下 ssh ，

 shh localhost

• 安裝hadoop （我用的是2.7）

• 解壓文件夾
  

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop    # 指定目錄，可根據自己的喜好選擇放在哪

• 創建 hadooop 工作所需要的文件目錄

• 設置環境變量 （進入$HADOOP_HOME/etc/hadoop）

sudo vim /etc/profile
export HADOOP_HOME={path}
#path 后面繼續跟
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 
  

• 配置文件

• 配置 hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}          # JAVA_HOME JDK 路徑

• 
  

• 配置 core-site.xml （關于Hadoop配置項的一點說明雖然只需要配置fs.defaultFS 和 dfs.replication 就可以運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數，則默認使用的臨時目錄為 /tmp/hadoo-hadoop，而這個目錄在重啟時有可能被系統清理掉，導致必須重新執行 format 才行。所以我們進行了設置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯。shay為主機名，如果不知道自己的主機名可以 cat 一下 /etc/hostname）

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://shay:9000</value>
    </property>
</configuration>

• 
  

• 配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
    <!-- 若有其他主機，則可以打開這個
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>shay:50090</value>
    </property>
    -->
</configuration>

• 
  

• 配置 mapred-site.xml 

<configuration>
    <property>        
        <name>mapreduce.framework.name</name>
         <value>yarn</value>
    </property>
</configuration>

• 
  

• 配置 yarn-site.xml

<configuration>
    <property>        
        <name>yarn.nodemanager.aux-services</name>        
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>shay</value>
    </property>
</configuration>

• 
  

• 配置 yarn-env.sh

export JAVA_HOME=${JAVA_HOME}

• 
  

• Hadoop 啟動
  

• 執行 namenode 格式化
  

hdfs namenode -format

• 
  

• 開啟守護進程
  

start-dfs.sh        # NameNode 和 DataNode 守護進程
start-yarn.sh       # ResourceManager 和 NodeManager 守護進程

• 驗證
  

jps

感謝各位的閱讀！關于“hadoop中入門配置知識點有哪些”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！