hadoop3.3集群搭建方法

本篇內容介紹了“hadoop3.3集群搭建方法”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

分布式服務器集群上存儲海量數據并運行分布式分析應用的開源框架，其核心部件是HDFS與MapReduce

概念

• HDFS 是一個分布式文件系統：引入存放文件元數據信息的服務器namenode和實際存放數據的服務器Datanode，對數據進行分布式儲存和讀取。　

• MapReduce 是一個計算框架：MapReduce的核心思想是把計算任務分配給集群內的服務器里執行。通過對計算任務的拆分（Map計算/Reduce計算）再根據任務調度器（JobTracker）對任務進行分布式計算。

服務 fsimage:元數據鏡像文件（文件系統的目錄樹。） edits：元數據的操作日志（針對文件系統做的修改操作記錄） NameNode 處理客戶端的讀寫請求；配置副本策略；保存HDFS的元數據信息，比如命名空間信息，塊信息等。當它運行的時候，這些信息是存在內存（保存的fsimage+edits）中的。但是這些信息也可以持久化到磁盤上 SecondaryNameNode 是專門做NameNode 中edits 文件向fsimage 合并數據，然后再發給namenode，防止edits過大的一種解決方案 NodeManager管理一個YARN集群中的每一個節點。比如監視資源使用情況（ CPU，內存，硬盤，網絡），跟蹤節點健康等。 ResourceManager是Yarn集群主控節點，負責協調和管理整個集群（所有NodeManager）的資源 DataNode：負責存儲client發來的數據塊block；執行數據塊的讀寫操作。 熱備份：b是a的熱備份，如果a壞掉。那么b馬上運行代替a的工作。 冷備份：b是a的冷備份，如果a壞掉。那么b不能馬上代替a工作。但是b上存儲a的一些信息，減少a壞掉之后的損失。

集群

環境:

• centos7

• jdk1.8.0_241 / hadoop-3.3

本文使用的3.3新版本搭建集群（一主兩從）

192.168.41.128   server1
192.168.41.129   server2
192.168.41.130   server3

#禁用selinux
/etc/selinux/config 

#配置免密登錄
 ssh-keygen 
 ssh-copy-id -i .ssh/id_rsa.pub root@server2
 ssh-copy-id -i .ssh/id_rsa.pub root@server3

1. 安裝jdk 略..

2. 下載解壓: tar zxvf hadoop-3.3.0.tar.gz

3. 配置 詳細查閱：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

#Administrators should use the etc/hadoop/hadoop-env.sh and optionally the etc/hadoop/mapred-env.sh and etc/hadoop/yarn-env.sh scripts to do site-specific customization of the Hadoop daemons’ process environment.官網原話，意思要指定JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64

#etc/hadoop/core-site.xml 
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://server1:9000</value>
  </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop-3.3.0/tmp</value>
 </property> 

#etc/hadoop/hdfs-site.xml，指定數據的副本數，小于等于從節點數
 <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>server1:50090</value>
  </property>

#etc/hadoop/yarn-site.xml，yarn配置資源管理器，提供統一的資源管理和調度
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>server1</value>
  </property>

#etc/hadoop/mapred-site.xml，mapreduce的執行引擎
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. 初始化hdfs: bin/hdfs namenode -format

5. 修改執行角色

#sbin/start-dfs.sh,sbin/stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#sbin/start-yarn.sh,sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

6. 配置從節點 etc/hadoop/works,修改對應主機

7. 啟動 sbin/start-all.sh

8. 訪問 http://192.168.41.128:9870/ 即主機+端口可以訪問顯示如下說明成功了

“hadoop3.3集群搭建方法”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！