91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

kafka broker Leader -1引起spark Streaming不能消費 已解決

發布時間:2020-08-05 18:38:19 來源:網絡 閱讀:1078 作者:Stitch_x 欄目:大數據

一、問題描述:

Kafka生產集群中有一臺機器cdh-003由于物理故障原因掛掉了,并且系統起不來了,使得線上的spark Streaming實時任務不能正常消費,重啟實時任務都不行。查看kafka topic狀態,發現broker Leader出現-1的情況,如下圖
kafka broker Leader -1引起spark Streaming不能消費  已解決

二、問題分析

Kafka Broker Leader 為-1,表示有partition在選舉Leader的時候失敗了,因此引起了消費該Topic的實時任務都出現了異常,經過排除發現掛掉的cdh-003機器正好是broker id為257。(但為何192沒有被選舉為leader呢??)

?

三、解決方法:修改kafka元數據,手動指定kakfa Leader。

kafka partition狀態信息存在Zookeeper上,我的環境目錄是 /kafka/brokers/topics/,具體操作如下:

1、查看leader為-1的partition狀態

[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":-1,"version":1,"leader_epoch":96,"isr":[257]}

2、強制修改partition leader為192

[zk: localhost:2181(CONNECTED) 3] set /kafka/brokers/topics/mds001/partitions/1/state {"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

3、查看修改是否成功

[zk: localhost:2181(CONNECTED) 4] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

[zk: localhost:2181(CONNECTED) 5]
kafka broker Leader -1引起spark Streaming不能消費  已解決

4、重啟Kafka服務 (必須重啟,我最開始就是沒有重啟,使得SS消費依然不正常)

5、重啟Spark Streaming實時任務,此時消費正常,則完美解決

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

崇州市| 城口县| 托里县| 怀宁县| 孝义市| 青铜峡市| 环江| 宜兰县| 蓝田县| 宁明县| 元阳县| 惠来县| 游戏| 昭平县| 侯马市| 安多县| 沾化县| 正宁县| 阿勒泰市| 通化县| 靖安县| 若羌县| 莫力| 临泽县| 礼泉县| 曲麻莱县| 宁陕县| 尼勒克县| 玉屏| 革吉县| 香河县| 遵化市| 浪卡子县| 桂阳县| 靖安县| 闻喜县| 澜沧| 宣城市| 平谷区| 玉林市| 山阴县|