ganglia監控hadoop集群的配置文件問題分析

這篇文章主要介紹“ganglia監控hadoop集群的配置文件問題分析”，在日常操作中，相信很多人在ganglia監控hadoop集群的配置文件問題分析問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”ganglia監控hadoop集群的配置文件問題分析”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

ganglia 是監控的hadoop 集群 的最佳系統. 

安裝步驟就不寫了. 比較簡單.  

主要說下安裝過程, hadoop 的metrics 的配置問題. 

hadoop-metrics2.properties  

如果采用默認配置,  一般情況下, 你會苦不堪言. 

主要問題是 默認的把所有的metrics 監控項 全部監控出來了. 

那么就帶來了一個問題.  

每個任務, 會派生出 很多container  ,然后每個container 又有很多指標. 

因為一直忙著救火, 就沒有 截圖保留案底了. 

我統計一下 , 一個hadoo 節點  下面 關于container 的 rrd 文件就有11700+  

單個hadoop 節點 在一天內的監控數據 大于 7.5GB . 

到什么情況呢, 在ganglia 里面已經無法打開單個節點的監控頁面了.  直接死了. 

同樣的hbase 的 hadoop-metrics2-hbase.properties  中也會涉及到

regionserver 的問題. 每個節點 上有很多regions  ,然后每個region  都涉及到N多的metrics 監控項. 

然后導致rrd 文件暴漲.  效果跟前面一樣. 煩死人. 

怎么解決呢?  查文檔. 

在官方文檔里找到了一點答案. 然后就開始各種演繹. 

正則表達. 

Fields inherited from class org.apache.hadoop.metrics2.filter.AbstractPatternFilter

EXCLUDE_KEY, EXCLUDE_TAGS_KEY, INCLUDE_KEY, INCLUDE_TAGS_KEY

通過正則表達 可以限制某些metrics 監控項的采集等等. 

到這里問題基本就解決了. 

我列出來我的配置的監控項做個示例: 

more  hadoop-metrics2-hbase.properties 

 hbase.sink.file-all.class=org.apache.hadoop.metrics2.sink.FileSink

 hbase.sink.file-all.filename=all.metrics

############################################################

*.period=10

*.sink.ganglia.period=10

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter

*.record.filter.class=${*.source.filter.class}

*.metric.filter.class=${*.source.filter.class}

hbase.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

hbase.sink.ganglia.record.filter.exclude=Regions

hbase.sink.ganglia.source.filter.exclude=.*Regions.*

hbase.sink.ganglia.period=10

hbase.sink.ganglia.servers=gangliaserver:8649

more  hadoop-metrics2.properties 

################################################

*.period=10

*.sink.ganglia.period=10

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter

*.record.filter.class=${*.source.filter.class}

*.metric.filter.class=${*.source.filter.class}

resourcemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

resourcemanager.sink.ganglia.source.filter.exclude=.*_(container)*

resourcemanager.sink.ganglia.record.filter.exclude=container*

resourcemanager.sink.ganglia.source.filter.exclude=*.ontainerResource.*

nodemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

nodemanager.sink.ganglia.source.filter.exclude=.*_(container)*

#nodeemanager.sink.ganglia.record.filter.exclude=*container.*

nodeemanager.sink.ganglia.record.filter.exclude=*container*

nodemanager.sink.ganglia.source.filter.exclude=*ontainerResource*

nodemanager.sink.ganglia.source.filter.exclude=*Containers*

mrappmaster.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

mrappmaster.sink.ganglia.source.filter.exclude=.*_(container)*

mrappmaster.sink.ganglia.record.filter.exclude=*container.*

mrappmaster.sink.ganglia.record.filter.exclude=*container*

mrappmaster.sink.ganglia.source.filter.exclude=*ontainerResource*

jobhistoryserver.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

jobhistoryserver.sink.ganglia.record.filter.exclude=*container.*

jobhistoryserver.sink.ganglia.record.filter.exclude=*container*

jobhistoryserver.sink.ganglia.source.filter.exclude=*ontainerResource*

##############################################################

到此，關于“ganglia監控hadoop集群的配置文件問題分析”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！