溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了“kafka錯誤怎么解決”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“kafka錯誤怎么解決”這篇文章吧。
今天由于kafka集群搭建時的配置不當，由于一臺主消費者掛掉(服務器崩了，需要維修)，導致了所有新版消費者(新版的offset存儲在kafka)都無法拉取消息。
kafka的一個錯誤
由于是線上問題，所以是絕對不能影響用戶的，使用老版客戶端(offset存儲在zk)進行消費，然后將kafka遷移到備用服務。
下面來說一下這次事故的具體處理思路
1.首先要確保獲取到的消息不能丟失，所以老版消費者進行消費
2.線上服務通過均衡負載一臺一臺的進行切換kafka服務，當原生產者數據都消費完時，將消費者切換到備用服務
3.開始配置線上kafka服務
kafka錯誤怎么解決
主要做了如下修改
offsets.topic.replication.factor=3
設置副本數量為3,這樣當一臺消費者宕機時，其他消費者也可以進行消費
為了使topic可以進行復制副本，這里采用了比較粗暴的方法，直接清空topic和offset
分為以下幾個步驟
./zookeeper-shell.sh227.0.0.1:24500
rmr/brokers/topics/topic-name
rmr/config/topics/topic-name
rmr/admin/delete_topics/topic-name
此時已經將topic完全刪除，然后進行topic的新建
bin/kafka-topics--create--zookeeperlocalhost:2181--replication-factor3--partitions3--topictopic-name
這時可以啟動生產者和消費者進行查看，已經不再出現一開始的異常
Connectiontonode-1couldnotbeestablished.Brokermaynotbeavailable.
這時我進行了測試，對三臺broker中的任意一臺進行下線，服務會自動選擇其他節點進行生產和消費。
以上是“kafka錯誤怎么解決”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
