連接不上Docker-Kafka-broker及Kafka解決內網外網隔離的幾個重要參數分別是什么

這篇文章給大家介紹連接不上Docker-Kafka-broker及Kafka解決內網外網隔離的幾個重要參數分別是什么，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

1.背景

像之前的大數據環境等都是通過Docker來搭建的，無論是在學習，測試，遷移時候無疑是最快的方式，尤其是在多個環境下還想使用同一套環境時候,https://github.com/hulichao/docker-bigdata,搭建思路，可以參考本倉庫，一般情況下只要注意比虛擬機要多做個端口映射等，端口映射也即網絡方面，其實是相對冗余的，所以在搭建kafka的環境時候正好遇到了下面的問題，如下圖connection to node 0 colud not be establised. Broker may not be avaliable

kafka連不上broker，在虛擬機的機器上沒問題，但是本地使用idea連接是有問題的。

2.思路

是事后寫的博客，所以當時的一些排查問題的截圖，不一一貼出來了，只簡述一下過程和最終解決，以及引出kafka對內外網隔離時候的解決方式

2.1 首先排查各種網絡問題

比如虛擬機網絡，使用ping www.baidu.com 再檢查端口使用telnet linux121 9092 發現都沒有問題，另外查了Docker的虛擬網卡，可以參考另外一篇文章，https://blog.csdn.net/hu_lichao/article/details/109538567，發現也沒有問題

2.2 然后開始考慮是Kafka的問題

本來沒有往這個方向想，最后只好借助google, 輸入關鍵字 kafka docker idea 連不上Broker ,如下圖

然后參考第一條，讀取關鍵的信息：Kafka的客戶端（生產者與消費者統稱）要連接 Broker 需要經過一層認證，不通過認證就無法連接！ 然后繼續往下讀，客戶端連接Kafka需要兩層認證，其一是Zk上的Broker中的advertised.listeners 配置的連接和端口，注意：這里較坑的一點就是，必須原樣比對 PLAINTEXT 中的內容要和Java程序中的要對應，即不考慮你是怎么拿到虛擬機中的Docker中的kafka的連接，總之你要發送的bootstrap.servers 的內容要和PLAINTEXT 要一致，這就需要配置linux121 的hosts，映射到實際的ip和端口了。

java代碼

zk獲取broker信息

kafka的server.properties的配置

3.Kafka的內外網參數

根據前面的排查問題，有兩個重要參數，listeners和advertise.listeners 那這兩個參數是做什么用的呢，這里拿來官方的翻譯，

用于指定當前Broker向外發布服務的地址和端口。與 advertised.listeners 配合，用于做內外網隔離。

下面介紹幾個相關參數：

listener.security.protocol.map

內外網隔離配置：監聽器名稱和安全協議的映射配置。比如，可以將內外網隔離，即使它們都使用SSL。listener.security.protocol.map=INTERNAL:SSL,EXTERNAL:SSL 注意，每個監聽器的名稱只能在map中出現一次。 inter.broker.listener.name

用于配置broker之間通信使用的監聽器名稱，該名稱必須在advertised.listeners列表中。例如inter.broker.listener.name=EXTERNAL listeners

用于配置broker監聽的URI以及監聽器名稱列表，使用逗號隔開多個URI及監聽器名稱。 如果監聽器名稱代表的不是安全協議，必須配置listener.security.protocol.map。 每個監聽器必須使用不同的網絡端口。 advertised.listeners 需要將該地址發布到zookeeper供客戶端使用，如果客戶端使用的地址與listeners配置不同。 可以在zookeeper的 get /brokers/ids/<broker.id> 中找到。

在IaaS環境，該條目的網絡接口得與broker綁定的網絡接口不同。 如果不設置此條目，就使用listeners的配置。跟listeners不同，該條目不能使用0.0.0.0網絡端口。 advertised.listeners的地址必須是listeners中配置的或配置的一部分。

注意：INTERNAL 和 EXTERNAL的作用就是相當于給PLAINTEXT協議起了兩個別名，默認map中只能有一個同名的協議，故分開寫

下面是一個典型的常用配置：

關于連接不上Docker-Kafka-broker及Kafka解決內網外網隔離的幾個重要參數分別是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。