怎樣分析kafka數據保存時間問題與kafka的性能測試

怎樣分析kafka數據保存時間問題與kafka的性能測試 ，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

查看kafka的topic情況，bin/kafka-topics.sh --describe --zookeeper hadoop234:2182 --topic test5

可以查看replicationfactor的leader，如果broker list中某個節點斷掉，則會重選leader

Partition： 分區
Leader ： 負責讀寫指定分區的節點
Replicas ： 復制該分區log的節點列表
Isr ： "in-sync" replicas，當前活躍的副本列表（是一個子集），并且可能成為Leader。

在producer發送消息的過程中，broker list的某個節點斷掉，不會影響消息的發送。

 kafka數據保存時間問題。

   Kafka刪除檢查主要有兩種，任一達到要求即執行。

（1）      按時間粒度，可設置分鐘或者小時。達到時間進行處理。

（2）      按文件大小限制，設置最大文件大小，達到上限即進行處理。

可設置文件大小檢查周期。

kafka的性能測試

kafka中有自帶的性能測試代碼，測試結果均來自kafka自帶的測試代碼 ，位于bin/kafka-producer-perf-test.sh。

         主要參數有以下四個，

messages                生產者發送總的消息數量

message-size             每條消息大小（單位為b）

batch-size                每次批量發送消息的數量

topics                   生產者發送的topic

threads                  生產者使用幾個線程同時發送

例如bin/kafka-producer-perf-test.sh --messages 100000 --message-size 1000  --batch-size 10000 --topics test4 --threads 4 --broker-list hadoop234:9092,hadoop237:9092,hadoop238:9092

返回信息為

start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec

2015-10-15 18:56:27:542, 2015-10-15 18:56:30:880, 0, 1000, 10000, 95.37, 28.5702, 100000, 29958.0587

可以通過調節參數進行性能測試。

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。