hadoop cluster decommission node (下線節點，超級實用)

一、描述

為了節約成本，避免資源浪費，下線集群中的一個節點，也就是把一臺云主機回收嘍。

centos 6.6_64bit

hadoop 2.6.0

二、操作步驟（動態下線）

下線節點主機名如下，在hadoop用戶下操作，配置文件都在conf目錄下  

host-10-10-10-10   ##一看就在云上是不是

1.在conf目錄下創建文件

touch excludes 

echo "host-10-10-10-10" > exclude 

less exclude     ##要有驗證

2.修改配置文件hdfs-site.conf

 vi hdfs-site.xml

 添加如下內容，路徑根據自己的實際情況

        <property>

                <name>dfs.hosts.exclude</name>

                <value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>

       </property>

3.修改配置文件 yarn-site.conf

 添加如下內容，路徑根據自己的實際情況

        <property>                     

                <name>yarn.resourcemanager.nodes.exclude-path</name>

                <value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>

        </property>

4.刷新hdfs節點（namenode active操作）

hdfs dfsadmin -refreshNodes 

hdfs dfsadmin -report   ##觀察節點是否decommission

5.刷新nodemanager節點（resourcemanager active操作）

yarn rmadmin -refreshNodes

6.修改slave文件

注釋掉主機名

#host-10-10-10-10

7.同步exclude文件和slave文件

scp exclude 到namenode/resourcemanager 的 standby節點

8.再次驗證，確保是我們想要的結果，通知運維同事可以回收云主機。

三、注意事項

1.生產環境操作之前一定要做好測試

2.查看官方文檔，要知道自己修改的文件對系統有多大影響，做到心里有數。