溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要為大家展示了“Kafka常用開發、運維命令有哪些”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Kafka常用開發、運維命令有哪些”這篇文章吧。
常用命令：
1.查看幫助
/usr/hdp/2.6.3.0-235/kafka/bin/kafka-topics.sh --help
2.查看當前集群所有topic
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --list
3.查看topic詳細信息 (kafkawordcount)
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 -describe -topic kafkawordcount
4.查看kafka集群詳細信息
./kafka-topics.sh -zookeeper salver31.hadoop.unicom:2181 --describe
5.新建topic
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --create --topic topic001 --partitions 1 --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1
注：
與主題相關的配置默認使用全局缺省值,也可通過--config key=value的形式對全局缺省值進行覆蓋。上面的topic1自定義了最大消息大小和刷新速度。
6.修改topic配置：
可以使用alter topic命令更改或設置覆蓋。
更新分區數：
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --partitions 2
更新my-topic的最大消息大小:
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --config max.message.bytes=128000
刪除自定義配置（刪除自定義最大消息字節數）：
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --alter --topic topic001 --delete-config max.message.bytes
7.查看topic各個分區消息的數據量：
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic kafkawordcount --time -1
8.查看log日志消息內容:
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /kafka-logs/kafkawordcount-0/00000000000000000000.log --print-data-lo
9.Producer發送消息：
./kafka-console-producer.sh --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic topic001
10.Consumer接收消息：
./kafka-console-consumer.sh --bootstrap-server salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --from-beginning --topic kafkawordcount
接收消息，三個常用參數：
consumer-property 參數以鍵值對的形式指定消費者級別的配置。
from-beginning 設置消息起始位置開始消費。默認是從新位置 latest開始消費
delete-consumer-offsets 刪除在zookeeper中記錄已消費的偏移量
帶參數Consumer接收消息：
./kafka-console-consumer.sh --bootstrap-server salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic kafkawordcount --consumer-property group.id=consumerGroup1 --consumer-property consumer.id=consumerId1 --from-beginning --delete-consumer-offsets
11.查看topic某個消費組對應的offset:
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic kafkawordcount --zookeeper localhost:2181 --group consumerGroup1
12.查看topic最大offset:
/usr/hdp/2.6.3.0-235/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic test511 --time -2
查看最小offset
/usr/hdp/2.6.3.0-235/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list salver31.hadoop.unicom:6667,salver32.hadoop.unicom:6667 --topic test511 --time -1
.刪除topic
./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181 --delete --topic topic001
注意：
這里刪除topic并沒有真正刪除，只是給topic標記為"deleted"，如果需要徹底刪除topic，請參考kafka進階中的文章：“kafka進階：如何徹底刪除topic及數據”。
以上是“Kafka常用開發、運維命令有哪些”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
