hadoop單機版安裝及基本功能的示例分析

小編給大家分享一下hadoop單機版安裝及基本功能的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

hadoop單機版安裝

準備工作

創建用戶

useradd -m hadoop
passwd hadoop

下載安裝包

1.jdk 到官方下載頁面http://www.oracle.com/technetwork/java/javase/downloads/index.html，下載jdk，我下載的版本為jdk-8u151-linux-x64.tar.gz。

2.hadoop安裝包 到hadoop官網下載hadoop的二進制包，我使用的版本為：hadoop-2.7.5.tar.gz。

將jdk和hadoop的包上傳到linux上，路徑為：/home/hadoop。

hadoop安裝及配置

安裝

以hadoop用戶登錄，分別解壓jdk和hadoop的包。

tar -zxvf jdk-8u151-linux-x64.tar.gz
tar -zxvf hadoop-2.7.5.tar.gz

重命名hadoop的目錄

mv hadoop-2.7.5/ hadoop/

hadoop運行環境配置

進入到hadoop的目錄/home/hadoop/hadoop vi etc/hadoop/hadoop-env.sh

設置jdk的路徑

# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk1.8.0_151

使用hadoop進行單詞統計

創建輸入文件目錄及測試文件

mkdir input4test

vi input4test/1.txt
hadoop is an open-source software

vi input4test/2.txt
I want to learn hadoop

執行單詞統計操作

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount ./input4test ./output4test

查看統計結果

cat output4test/part-r-00000

I	1
an	1
hadoop	2
is	1
learn	1
open-source	1
software	1
to	1
want	1

hdfs相關配置及操作

配置hdfs

進入到hadoop的目錄/home/hadoop/hadoop 修改配置文件etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改配置文件etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

設置免密碼登錄

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

hdfs格式化及啟動

1. hdfs格式化

bin/hdfs namenode -format

2. hdfs啟動

sbin/start-dfs.sh

3. 查看hdfs狀態 在瀏覽器中輸入http://IP:50070，可以查看hdfs的狀態。如果50070端口沒有打開，輸入下面命令打開50070端口。

iptables -I INPUT -p tcp --dport 50070 -j ACCEPT

hdfs基本操作

查看文件和文件夾

bin/hadoop dfs -ls -R /

該命令表示以遞歸方式查看根目錄下的所有文件和文件夾。

創建目錄

bin/hadoop dfs -mkdir /input

該命令表示在根目錄下創建input目錄。

上傳文件到hdfs

bin/hadoop hdfs -put input4test/1.txt /input/
bin/hadoop hdfs -put input4test/2.txt /input/

該命令表示將本地input4test/1.txt和2.txt文件上傳到hdfs中的/input目錄下。

###查看文件內容

bin/hadoop dfs -cat  /input/1.txt

通過YARN調度

配置YARN

修改配置文件etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改配置文件etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

啟動YARN

sbin/start-yarn.sh

查看YARN狀態

在瀏覽器中輸入http://IP:8088，可以查看YARN的狀態。如果8088端口沒有打開，輸入下面命令打開8088端口。

iptables -I INPUT -p tcp --dport 8088 -j ACCEPT

再次執行單詞統計操作

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input /output

本次執行的輸入和輸出目錄，都是hdfs的目錄。

查看統計結果

bin/hadoop dfs -cat /output/part-r-00000

和之前的結果一樣。

I	1
an	1
hadoop	2
is	1
learn	1
open-source	1
software	1
to	1
want	1

以上是“hadoop單機版安裝及基本功能的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！