動態上下線datanode節點及副本均衡機制怎么實現

本篇內容介紹了“動態上下線datanode節點及副本均衡機制怎么實現”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

考項目到新的服務器

啟動datanode sbin/hadoop-daemon.sh start datanode

清掉tmp

本文主要從基礎準備，添加DataNode和添加NodeManager三個部分詳細說明在Hadoop2.6.0環境下，如何動態新增節點到集群中。

• 基礎準備

在基礎準備部分，主要是設置hadoop運行的系統環境


• 修改系統hostname（通過hostname和/etc/sysconfig/network進行修改）

• 修改hosts文件，將集群所有節點hosts配置進去（集群所有節點保持hosts文件統一）

• 設置NameNode（兩臺HA均需要）到DataNode的免密碼登錄（ssh-copy-id命令實現，可以免去cp *.pub文件后的權限修改）

• 修改主節點slave文件，添加新增節點的ip信息（集群重啟時使用）

• 將hadoop的配置文件scp到新的節點上
  

• 添加DataNode

對于新添加的DataNode節點，需要啟動datanode進程，從而將其添加入集群


• 在新增的節點上，運行sbin/hadoop-daemon.sh start datanode即可

• 然后在namenode通過hdfs dfsadmin -report查看集群情況

• 最后還需要對hdfs負載設置均衡，因為默認的數據傳輸帶寬比較低，可以設置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

• 默認balancer的threshold為10%，即各個節點與集群總的存儲使用率相差不超過10%，我們可將其設置為5%
  

• 然后啟動Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可
  

• 添加Nodemanager

由于Hadoop 2.X引入了YARN框架，所以對于每個計算節點都可以通過NodeManager進行管理，同理啟動NodeManager進程后，即可將其加入集群

• 在新增節點，運行sbin/yarn-daemon.sh start nodemanager即可

• 在ResourceManager，通過yarn node -list查看集群情況

“動態上下線datanode節點及副本均衡機制怎么實現”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！