kafka集群安裝與配置方法

這篇文章主要講解了“kafka集群安裝與配置方法”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“kafka集群安裝與配置方法”吧！

1）解壓安裝包

[mayi@mayi101 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/software/

2）修改解壓后的文件名稱

[mayi@mayi101 module]$ mv kafka_2.11-2.4.1/ kafka

3）在/opt/module/kafka目錄下創建logs文件夾

[mayi@mayi101 kafka]$ mkdir logs

4）修改配置文件

[mayi@mayi101 kafka]$ cd config/
[mayi@mayi101 config]$ vi server.properties
輸入以下內容：
#broker的全局唯一編號，不能重復
broker.id=0
#刪除topic功能使能
delete.topic.enable=true
#處理網絡請求的線程數量
num.network.threads=3
#用來處理磁盤IO的現成數量
num.io.threads=8
#發送套接字的緩沖區大小
socket.send.buffer.bytes=102400
#接收套接字的緩沖區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩沖區大小
socket.request.max.bytes=104857600
#kafka運行日志存放的路徑
log.dirs=/opt/software/kafka/logs
#topic在當前broker上的分區個數
num.partitions=1
#用來恢復和清理data下數據的線程數量
num.recovery.threads.per.data.dir=1
#segment文件保留的最長時間，超時將被刪除
log.retention.hours=168
#配置連接Zookeeper集群地址
zookeeper.connect=mayi101:2181,mayi102:2181,mayi103:2181/kafka

5）配置環境變量

[mayi@mayi101 module]$ sudo vi /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

[atguigu@hadoop102 module]$ source /etc/profile

6）分發安裝包

[mayi@mayi101 module]$ xsync kafka/
注意：分發之后記得配置其他機器的環境變量

分別在mayi102和mayi103上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
注：broker.id不得重復

7）啟動集群

依次在mayi101、mayi102、mayi103節點上啟動kafka
[mayi@mayi101 kafka]$ kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
[mayi@mayi101 kafka]$ kafka-server-start.sh -daemon  $KAFKA_HOME/config/server.properties
[mayi@mayi101 kafka]$ kafka-server-start.sh -daemon  $KAFKA_HOME/config/server.properties

8）關閉集群

[mayi@mayi101 kafka]$ bin/kafka-server-stop.sh
[mayi@mayi102 kafka]$ bin/kafka-server-stop.sh
[mayi@mayi103 kafka]$ bin/kafka-server-stop.sh

9) kafka群啟腳本

#!/bin/bash
for i in `cat /opt/software/hadoop-2.9.2/etc/hadoop/slaves`
do
echo "========== $i ==========" 
ssh $i 'source /home/mayi/.bash_profile&&/opt/software/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /opt/software/kafka_2.11-2.4.1/config/server.properties'
echo $?
done

10) kafkaq群關腳本

#!/bin/bash
for i in `cat /opt/software/hadoop-2.9.2/etc/hadoop/slaves`
do
echo "========== $i ==========" 
ssh $i 'source /home/mayi/.bash_profile&&/opt/software/kafka_2.11-2.4.1/bin/kafka-server-stop.sh'
echo $?
done

感謝各位的閱讀，以上就是“kafka集群安裝與配置方法”的內容了，經過本文的學習后，相信大家對kafka集群安裝與配置方法這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！