溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關Kafka演進的四個階段分別是什么，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。
Kafka是當下熱門的消息隊列中間件，它可以實時地處理海量數據，具備高吞吐、低延時等特性及可靠的消息異步傳遞機制，可以很好地解決不同系統間數據的交流和傳遞問題。
早期大數據平臺之所以引入Kafka作為業務日志的收集處理系統，主要是考慮到它高吞吐低延遲、多重訂閱、數據回溯等特點，可以更好地滿足大數據場景的需求。但隨著業務量的迅速增加，以及在業務使用和系統維護中遇到的問題，例如注冊機制、監控機制等的不完善，導致出現問題無法快速定位，以及一些線上實時任務發生故障后沒有快速恢復導致消息積壓等,使Kafka集群的穩定性和可用性得受到挑戰，經歷了幾次嚴重的故障。
解決以上問題對我們來說迫切而棘手。針對大數據平臺在使用Kafka上存在的一些痛點，我們從集群使用到應用層擴展做了一系列的實踐，整體來說包括四個階段：
第一階段：版本升級。圍繞平臺數據生產和消費方面存在的一些瓶頸和問題，我們針對目前的Kafka版本進行技術選型，最終確定使用1.1.1版本。
第二階段：資源隔離。為了支持業務的快速發展，我們完善了多集群建設以及集群內Topic間的資源隔離。
第三階段：權限控制和監控告警。
首先在安全方面，早期的Kafka集群處于裸跑狀態。由于多產品線共用Kafka，很容易由于誤讀其他業務的Topic導致數據安全問題。因此我們基于SASL/SCRAM+ACL增加了鑒權的功能。
在監控告警方面，Kafka目前已然成為實時計算中輸入數據源的標配，那么其中Lag積壓情況、吞吐情況就成為實時任務是否健康的重要指標。因此，大數據平臺構建了統一的Kafka監控告警平臺并命名「雷達」，多維度監控Kafka集群及使用方情況。
第四階段：應用擴展。早期Kafka在對公司各業務線開放的過程中，由于缺乏統一的使用規范，導致了一些業務方的不正確使用。為解決該痛點，我們構建了實時訂閱平臺，通過應用服務的形式賦能給業務方，實現數據生產和消費申請、平臺的用戶授權、使用方監控告警等眾多環節流程化自動化，打造從需求方使用到資源全方位管控的整體閉環。
關于Kafka演進的四個階段分別是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
