您好,登錄后才能下訂單哦!
今天小編給大家分享一下Linux下如何部署分布式消息系統Kafka的相關知識點,內容詳細,邏輯清晰,相信大部分人都還太了解這方面的知識,所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來了解一下吧。
Kafka是最初由Linkedin公司開發,是一個分布式、支持分區的(partition)、多副本的(replica),基于zookeeper協調的分布式消息系統,它的最大的特性就是可以實時的處理大量數據以滿足各種需求場景:比如基于hadoop的批處理系統、低延遲的實時系統、storm/Spark流式處理引擎,web/nginx日志、訪問日志,消息服務等等。
Kafka:2.12-2.5.0
yum -y install java-1.8.0*
java -version 命令查看JDK版本,如圖安裝成功:
參考文章:Linux下ZooKeeper的安裝及使用
#創建安裝目錄mkdir -p /opt/kafka#移動到目錄cd /opt/kafka#下載kafka安裝包wget https://mirrors.aliyun.com/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz#解壓縮tar -zxvf kafka_2.12-2.5.0.tgz
#進入配置目錄cd kafka_2.12-2.5.0/config/#備份配置文件cp server.properties server.properties.bak#修改配置文件vim server.properties#修改及添加以下配置broker.id=1 listeners=PLAINTEXT://127.0.0.1:9092 advertised.listeners=PLAINTEXT://127.0.0.1:9092#其他自定義配置(根據實際修改)zookeeper.connect=127.0.0.1:2181 zookeeper.connection.timeout.ms=18000#保存退出:wq
#配置說明 broker.id:當前機器在集群中的唯一標識。例如有三臺Kafka主機,則分別配置為1,2,3。
listeners:服務監聽端口。
advertised.listeners:提供給生產者,消費者的端口號,即外部訪問地址。默認為listeners的值。
zookeeper.connect:zookeeper連接地址。如有集群配置,每臺Kafka主機都需要連接全部zookeeper服務,實例如下:
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181
zookeeper.connection.timeout.ms:zookeeper連接超時時間。
(首先確保已啟動zookeeper)
#移到工作目錄cd /opt/kafka/kafka_2.12-2.5.0/bin/#啟動kafka./kafka-server-start.sh -daemon ../config/server.properties#關閉kafka服務./kafka-server-stop.sh
查看端口已被監聽,啟動成功:
#移到工作目錄cd /opt/kafka/kafka_2.12-2.5.0/bin/#創建topic./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic topic1#查看topic信息./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic topic1
#啟動生產者控制臺./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic topic1#啟動消費者控制臺(新開一個窗口)./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic topic1 --from-beginning
此時在生成者控制臺發一條測試消息,消費者控制臺即可收到:
以上就是“Linux下如何部署分布式消息系統Kafka”這篇文章的所有內容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,小編每天都會為大家更新不同的知識,如果還想學習更多的知識,請關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。