Apache Hudi如何集成Prometheus/Pushgateway進行監控

這篇文章主要介紹Apache Hudi如何集成Prometheus/Pushgateway進行監控，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

1. 可用性

在Hudi最新master分支，prometheus監控Hudi應用指標，該功能將在即將發布的0.6.0 版本中可用。

2. 簡介

prometheus是一個流行的監控服務。在即將發布的Apache Hudi 0.6.0版本中，除已有的報告者類型（Graphite、JMX、DATADOG、用戶自定義指標）之外，我們將引入通過pushgateway和httpserver方式報告Hudi指標的功能。

3. 配置

3.1  pushgateway

類似于其他支持的報告者，啟用pushgateway報告者需要配置以下屬性。

hoodie.metrics.on=true
hoodie.metrics.reporter.type=PROMETHEUS_PUSHGATEWAY

下面的屬性用來配置pushgateway 的地址和端口號。地址默認是localhost，端口默認是9091

hoodie.metrics.pushgateway.host=x.x.x.x
hoodie.metrics.pushgateway.port=9091

下面屬性用來配置任務結束時候是否將監控信息從pushgateway刪除，默認是true

hoodie.metrics.pushgateway.delete.on.shutdown=false

下面屬性用來配置任務名稱前綴、是否需要隨機的后綴，默認是true

hoodie.metrics.pushgateway.job.name=xiaomm
hoodie.metrics.pushgateway.random.job.name.suffix=false

下面屬性用來配置任務結束時候是否將監控信息從pushgateway刪除，默認是true

hoodie.metrics.pushgateway.delete.on.shutdown=false

3.2  prometheus-httpserver

hoodie.metrics.on=true
hoodie.metrics.reporter.type=PROMETHEUS
hoodie.metrics.reporter.host=9090

至此配置介紹結束

4. 示例演示

在這個示例中，我們運行了一個 HoodieDeltaStreamer，啟用了指標收集并做了相應的配置。

以上是“Apache Hudi如何集成Prometheus/Pushgateway進行監控”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！