您好,登錄后才能下訂單哦!
這篇文章主要介紹了怎么查看Kafka的Topic消費情況,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
1.文檔編寫目的
在我們的應用程序消費Kafka的Topic消息時,我們會關注Topic中消息總量以及消費情況,那接下來Fayson就主要介紹下如何在CDH集群中使用命令行的方式查看Topic的消費情況。
本次Fayson的測試環境為
1.CM和CDH版本為5.15
2.Redhat7.4
3.Kafka 0.10.2+kafka2.2.0
2.命令行查看
在Kafka的腳本里提供了kafka-run-class.sh的腳本,使用該腳本查看Consumer組內消費Topic的Offset情況。
1.在命令行執行如下命令查看指定Topic及ConsumerGroup的消費情況
[root@cdh01 bin]# kafka-run-class kafka.tools.ConsumerOffsetChecker --zookeeper cdh01.fayson.com:2181 --group test --topic kafka_kudu_topic_offset_3
第一次執行查看到kafka_kudu_topic_offset_3的testgroup組各個Partition的Offset消費情況以及每個Partition的總消息量。
2.kafka_kudu_topic_offset_3的Topic發送600條消息,再次執行命令查看消費情況
此時沒有消費的應用運行,可以看到Offset的數據未發生變化,而logSize的數據量有增加,每個partition的數量增加200條,剛好為我發送的消息數量。
3.啟動消費程序消費Topic的消息,再次執行命令查看消費情況
在消費應用運行時,每個Partition的Offset數據發生變化,此時的Offset的數據與logSize的數據一致,在應用日志中也無新的消息接收,說明Topic的消息已被testgroup組消費完。
感謝你能夠認真閱讀完這篇文章,希望小編分享的“怎么查看Kafka的Topic消費情況”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。