Cruise Control增強Kafka負載均衡的示例分析

發布時間：2021-12-15 10:29:51 來源：億速云閱讀：234 作者：柒染欄目：大數據

Cruise Control增強Kafka負載均衡的示例分析，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

Cruise Control是一個Kafka負載平衡組件，可以在大型Kafka集群中安裝使用。在添加或刪除Kafka代理時，Cruise Control可以根據特定條件自動平衡分區。

Cruise Control的體系結構由負載監控器、分析器、異常檢測器和執行器組成，如下圖所示。 Cruise Control增強Kafka負載均衡的示例分析

負載監控器

基于標準Kafka指標和資源指標生成集群工作負載模型，以利用磁盤、CPU、字節輸入速率和字節輸出速率。將集群模型輸入到異常檢測器和分析器中。

分析儀

根據用戶提供的優化目標以及來自Load Monitor的集群工作負載模型，生成優化建議。可以設定硬目標和軟目標。必須實現硬目標，而如果達到硬目標，則軟目標將無法實現。如果優化結果違反了硬目標，則優化將失敗。

異常檢測器

負責檢測以下異常：

異常現象	原因	結果
Broker失敗	非空Broker崩潰或離開集群。	Cruise Control通過刪除故障的broker來修復集群。
違反目標	優化被違反。	如果啟用了自我修復，Cruise Control會自動分析工作負載并執行優化建議。
磁盤故障	非空磁盤死亡。	如果啟用了自我修復功能，則Cruise Control會將所有脫機副本移至正常代理。
指標異常	收集的指標異常。	可能會先降級，如果異常仍然存在，請根據 self.healing.slow.brokers.removal.enabled配置刪除速度慢的broker 。

執行器

執行優化建議，執行建議時可以安全地中斷它。執行始終是資源感知的過程。

檢索指標

Cruise Control使用Kafka存儲和檢索其指標，該指標由Metric Fetcher讀取。

在負載監視器中，Metric Fetcher Manager負責協調所有采樣任務：Metric采樣任務，Bootstrap任務和線性模型訓練任務。

每個采樣任務都由配置數量的Metric Fetcher線程執行。每個Metric Fetcher線程使用一個可插入的Metric Sampler來獲取樣本。每個Metric Fetcher都在集群中分配了幾個分區以獲取樣本。指標標準樣本由指標標準樣本聚合器組織，該指標標準聚合器根據指標標準樣本的時間戳將每個指標標準樣本放入工作負載快照中。

集群工作負載模型是負載監視器的主要輸出。集群工作負載模型反映了集群的當前副本分配，并提供了移動分區或副本的接口。分析器使用這些接口來生成優化解決方案。

樣本存儲區存儲指標標準和訓練樣本以供將來使用。

借助指標標準采樣器，您可以將Cruise Control部署到各種環境并與現有的指標標準系統一起使用。

在Cloudera環境中使用Cruise Control時，將 HttpMetricsReporter 指標報告給Cloudera Manager時間序列數據庫。結果，可以使用Cloudera Manager讀取Kafka指標。

看完上述內容，你們掌握Cruise Control增強Kafka負載均衡的示例分析的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！

向AI問一下細節

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

Cruise Control增強Kafka負載均衡的示例分析

猜你喜歡

91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

Cruise Control增強Kafka負載均衡的示例分析

猜你喜歡

最新資訊

相關推薦

相關標簽