溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關Hadoop 2.6.0如何動態添加節點，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
基礎準備
在基礎準備部分，主要是設置hadoop運行的系統環境
修改系統hostname（通過hostname和/etc/sysconfig/network進行修改）
修改hosts文件，將集群所有節點hosts配置進去（集群所有節點保持hosts文件統一）
設置NameNode（兩臺HA均需要）到DataNode的免密碼登錄（ssh-copy-id命令實現，可以免去cp *.pub文件后的權限修改）
修改主節點slave文件，添加新增節點的ip信息（集群重啟時使用）
將hadoop的配置文件scp到新的節點上
添加DataNode
對于新添加的DataNode節點，需要啟動datanode進程，從而將其添加入集群
在新增的節點上，運行sbin/hadoop-daemon.sh start datanode即可
然后在namenode通過hdfs dfsadmin -report查看集群情況
最后還需要對hdfs負載設置均衡，因為默認的數據傳輸帶寬比較低，可以設置為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可
默認balancer的threshold為10%，即各個節點與集群總的存儲使用率相差不超過10%，我們可將其設置為5%
然后啟動Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可
添加Nodemanager
由于Hadoop 2.X引入了YARN框架，所以對于每個計算節點都可以通過NodeManager進行管理，同理啟動NodeManager進程后，即可將其加入集群
在新增節點，運行sbin/yarn-daemon.sh start nodemanager即可
在ResourceManager，通過yarn node -list查看集群情況
關于“Hadoop 2.6.0如何動態添加節點”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
