HBase啟動后HMaster掛掉的解決方案是什么

這篇文章給大家介紹HBase啟動后HMaster掛掉的解決方案是什么，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

最近在使用HBase的時候，發現使用HBase shell的list命令時出錯，jps查看了一下進程，發現HMaster掛掉了，在確認Hadoop狀態正常后，查看HMaster的日志，發現報錯如下：

2015-02-17 05:46:15,212 DEBUG [master:master:60000] lock.ZKInterProcessLockBase: Released /hbase/table-lock/hbase:namespace/write-master:600000000000004
2015-02-17 05:46:15,212 FATAL [master:master:60000] master.HMaster: Master server abort: loaded coprocessors are: []
2015-02-17 05:46:15,213 FATAL [master:master:60000] master.HMaster: Unhandled exception. Starting shutdown.
        org.apache.hadoop.hbase.TableExistsException: hbase:namespace
        at org.apache.hadoop.hbase.master.handler.CreateTableHandler.prepare(CreateTableHandler.java:120)
        at org.apache.hadoop.hbase.master.TableNamespaceManager.createNamespaceTable(TableNamespaceManager.java:232)
        at org.apache.hadoop.hbase.master.TableNamespaceManager.start(TableNamespaceManager.java:86)
        at org.apache.hadoop.hbase.master.HMaster.initNamespace(HMaster.java:1049)
        at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:913)
        at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:606)
        at java.lang.Thread.run(Unknown Source)
2015-02-17 05:46:15,214 INFO  [master:master:60000] master.HMaster: Aborting
2015-02-17 05:46:15,214 INFO  [master,60000,1424180766819-BalancerChore] balancer.BalancerChore: master,60000,1424180766819-BalancerChore exiting
2015-02-17 05:46:15,215 INFO  [master,60000,1424180766819-ClusterStatusChore] balancer.ClusterStatusChore: master,60000,1424180766819-ClusterStatusChore exiting
2015-02-17 05:46:15,215 INFO  [CatalogJanitor-master:60000] master.CatalogJanitor: CatalogJanitor-master:60000 exiting
2015-02-17 05:46:15,216 DEBUG [master:master:60000] master.HMaster: Stopping service threads

出現兩個FATAL(第2、3行)，嚴重錯誤，直覺上感覺跟Zookeeper有關，嘗試了多種方法后，終于找出了正確解決方案，此方案來自Stack Overflow上的polaris大神（原文網址附在最后，有興趣的可以看一下）。

4個步驟解決問題：

    1、停止HBase集群；

    2、使用HBase的離線修復命令      

hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair

    3、刪除Zookeeper中已存在的HBase的舊的信息

         進入zookeeper客戶端，注意，要在zookeeper集群啟動情況下進入客戶端：

./opt/zookeeper/bin/zkCli.sh

        使用 ls / 查看zookeeper中的數據目錄

        使用 rm /hbase 刪除zookeeper中的hbase數據

    4、重啟HBase集群，集群恢復正常。

思考：

    解決這個問題后，一直在反思集群為什么會突然出現這種情況，后來終于搞明白。之前對集群測試時，在主節點上部署了一個zookeeper節點(主節點之前沒有部署zookeeper)，后來為防止zookeeper節點總數變成偶數，又把這個zookeeper節點刪掉了。可能是這個原因造成zookeeper中已存在的hbase數據有問題，所以清空zookeeper中的hbase數據，就能解決問題了。

關于HBase啟動后HMaster掛掉的解決方案是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。