溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這期內容當中小編將會給大家帶來有關Kafka的資源隔離是什么，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
之前由于業務的復雜性和規模不大，大數據平臺對于Kafka集群的劃分比較簡單。于是，一段時間以后導致公司業務數據混雜在一起，某一個業務主題存在的不合理使用都有可能導致某些Broker負載過重，影響到其他正常的業務，甚至某些Broker的故障會出現影響整個集群，導致全公司業務不可用的風險。
按功能屬性拆分獨立的集群
集群內部Topic粒度的資源隔離
集群拆分
按照功能維度拆分多個Kafka物理集群，進行業務隔離，降低運維復雜度。
以目前最重要的埋點數據使用來說,目前拆分為三類集群，各類集群的功能定義如下：
Log集群：各端的埋點數據采集后會優先落地到該集群,所以這個過程不能出現由于Kafka問題導致采集中斷，這對Kafka可用性要求很高。因此該集群不會對外提供訂閱，保證消費方可控；同時該集群業務也作為離線采集的源頭，數據會通過Camus組件按小時時間粒度dump到HDFS中，這部分數據參與后續的離線計算。
全量訂閱集群：該集群Topic中的絕大部分數據是從Log集群實時同步過來的。上面我們提到了Log集群的數據是不對外的，因此全量集群就承擔了消費訂閱的職責。目前主要是用于平臺內部的實時任務中，來對多個業務線的數據分析并提供分析服務。
個性定制集群：之前提到過，我們可以根據業務方需求來拆分、合并數據日志源，同時我們還支持定制化Topic，該集群只需要提供分流后Topic的落地存儲。
資源隔離
Topic的流量大小是集群內部進行資源隔離的重要依據。例如，我們在業務中埋點日志量較大的兩個數據源分別是后端埋點數據源server-event和端上的埋點mobile-event數據源，我們要避免存儲兩個數據的主題分區分配到集群中同一個Broker上的節點。通過在不同Topic進行物理隔離，就可以避免Broker上的流量發生傾斜。
上述就是小編為大家分享的Kafka的資源隔離是什么了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
