您好,登錄后才能下訂單哦!
Kafka生產集群中有一臺機器cdh-003由于物理故障原因掛掉了,并且系統起不來了,使得線上的spark Streaming實時任務不能正常消費,重啟實時任務都不行。查看kafka topic狀態,發現broker Leader出現-1的情況,如下圖
Kafka Broker Leader 為-1,表示有partition在選舉Leader的時候失敗了,因此引起了消費該Topic的實時任務都出現了異常,經過排除發現掛掉的cdh-003機器正好是broker id為257。(但為何192沒有被選舉為leader呢??)
?
kafka partition狀態信息存在Zookeeper上,我的環境目錄是 /kafka/brokers/topics/,具體操作如下:
[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/mds001/partitions/1/state
{"controller_epoch":87,"leader":-1,"version":1,"leader_epoch":96,"isr":[257]}
[zk: localhost:2181(CONNECTED) 3] set /kafka/brokers/topics/mds001/partitions/1/state {"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}
[zk: localhost:2181(CONNECTED) 4] get /kafka/brokers/topics/mds001/partitions/1/state
{"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}
[zk: localhost:2181(CONNECTED) 5]
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。