Kafka集群的安裝過程

這篇文章主要講解了“Kafka集群的安裝過程”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Kafka集群的安裝過程”吧！

   1.下載kafka正式版

http://kafka.apache.org/downloads.html

    2.在Linux下解壓tar包

tar -xzfkafka_2.9.2-0.8.1.1.tgz

   3.修改server.properties

進入kafka根目錄config/server.properties

主要修改的有4個參數如下：

broker.id=0 //broker的標識（正數），集群內各個broker.id不能重復。

port=9092 //端口號，單節點內各個port不能重復(為了方便看最好不同節點端口也不要重復)。

log.dir =/tmp //存儲log的地方（數據文件）。

zookeeper.connect= dn1:2181,dn2:2181,dn3:2181

  4.配置producer.properties

# list of brokers used for bootstrapping knowledge about the rest of the cluster

# format: host1:port1,host2:port2 ...

metadata.broker.list=dn1:9092,dn2:9092,dn3:9092

  5.配置consumer.properties

# Zookeeper connection string

# comma separated host:port pairs, each corresponding to a zk

# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002"

zookeeper.connect=dn1:2181,dn2:2181,dn3:2181

   6.驗證是否安裝成功

1. start server

>bin/zookeeper-server-start.sh config/zookeeper.properties

>bin/kafka-server-start.sh config/server.properties

第一行是啟動kafka自身帶動zookeeper，如果集群有zookeeper可以忽略。

1. Create a topic

>bin/kafka-topics.sh --zookeeper dn1:2181,dn2:2181,dn3:2181 --topic test1 --replication-factor 3 --partitions 1 --create

>bin/kafka-topics.sh --zookeeper dn1:2181,dn2:2181,dn3:2181 --topic test1 --describe

1. Send somemessages

> bin/kafka-console-producer.sh --broker-list dn1:9092,dn2:9092,dn3:9092 --topic test1

1. Start a consumer

>bin/kafka-console-consumer.sh --zookeeper dn1:2181,dn2:2181,dn3:2181 --from-beginning --topic test1

kafka-console-producer.sh和kafka-console-cousumer.sh只是系統提供的命令行工具。這里啟動是為了測試是否能正常生產消費，驗證流程正確性，在實際開發中還是要自行開發自己的生產者與消費者。

  7.分發到kafka集群節點

cp kafka安裝文件并修正3中的參數

1. 啟動各個節點的kafka服務

nohup./kafka-server-start.sh config/server.properties > output2>&1 &

1. Kafka的具體使用方法請參照官網

http://kafka.apache.org/documentation.html

    8.Web UI 安裝

8.1 Kafka webconsole UI

下載：https://github.com/claudemamo/kafka-web-console

編譯：目前只提供sbt。命令：sbt dist(會生產zip包方便部署和啟動)

解壓

unzip kafka-web-console-2.1.0-SNAPSHOT.zip  

cd kafka-web-console-2.1.0-SNAPSHOT/bin  

第一次啟動時要加個參數：

./kafka-web-console -DapplyEvolutions.default=true   

默認是9000端口,如需修改啟動如下:

./kafka-web-console -DapplyEvolutions.default=true-Dhttp.port=19000

不然會報錯：

[warn] play - Run with -DapplyEvolutions.default=true if you want to run them automatically (be careful)  

Oops, cannot start the server.  

@6k1jkg3be: Database 'default' needs evolution!  

at play.api.db.evolutions.EvolutionsPlugin

anonfun$onStart$1anonfun$apply$1.apply$mcV$sp(Evolutions.scala:484) 

查看幫助 和 后臺運行：

./kafka-web-console -h  

nohup ./kafka-web-console >/dev/null 2>&1 &

Web端地址：http://localhost:9000/

建議:這個第三方WEBUI比較直觀，而且簡單方便使用。

8.2KafkaOffsetMonitor UI

下載包

https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.0

官網：

http://quantifind.github.io/KafkaOffsetMonitor/

編譯：提供了jar包，不需要自己編譯

運行命令

java –cpKafkaOffsetMonitor-assembly-0.2.0.jar \

com.quantifind.kafka.offsetapp.OffsetGetterWeb\

--zk zk-01,zk-02 \

--port 8080 \

--refresh 5.minutes \

--retain 1.day

Web端地址：http://localhost:port/

8.3kafkaManager UI

下載https://github.com/yahoo/kafka-manager

Yahoo的出的kafka管理界面

下載源碼,運行命令：sbtclean dist生產zip包。

解壓就可以用。

運行命令:

./kafka-manager-Dconfig.file=../conf/application.conf -Dhttp.port=8080

Web端地址：http://localhost:port/

1. kafka常用命令

創建topic

/kafka-topics.sh --create --zookeeper 192.168.153.128:2181 --replication-factor 1--partitions 1 --topic test123

查看topic信息

./kafka-topics.sh --describe --topic test123 --zookeeper 192.168.153.128:2181

修改topic分區

./kafka-topics.sh --alter --topic test123 --partitions 2 --zookeeper 192.168.153.128:2181

刪除topic

./kafka-run-class.shkafka.admin.DeleteTopicCommand --topic test1 --zookeeper192.168.35.122:2181,192.168.35.123:2181

只是刪除了zookeeper中元數據，數據文件還需手動刪除。

感謝各位的閱讀，以上就是“Kafka集群的安裝過程”的內容了，經過本文的學習后，相信大家對Kafka集群的安裝過程這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！