0022-如何永久刪除Kafka的Topic

溫馨提示：要看高清無碼套圖，請使用手機打開并單擊圖片放大查看。

1.問題描述

使用kafka-topics --delete命令刪除topic時并沒有真正的刪除，而是把topic標記為：“marked for deletion”，導致重新創建相同名稱的Topic時報錯“already exists”。

2.問題復現

1.登錄Kafka集群所在的服務器，創建一個test的topic

[root@cdh2 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

2.查看新創建的topic

[root@cdh2 ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

3.通過如下命令刪除新建的topic

[root@cdh2 ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

此處顯示“Topic test is marked for deletion”

4.嘗試重新創建一個test的Topic

[root@cdh2 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

提示該Topic已存在，說明在第3步操作的刪除并沒有真正的將Topic刪除。

3.問題原因

默認情況下Kafka是禁用了刪除Topic的操作，所以在執行Topic刪除的時候只是將刪除的Topic標記為“marked for deletion”狀態。可以通過修改Kafka服務的配置參數啟用。

4.解決方法

4.1方法1

在kafka服務配置delete.topic.enable=false的情況下，如果需要永久刪除topic則需要做如下操作：

• 通過kafka命令刪除相應的topic
• 在zookeeper中刪除相應的topic
• 在topic所在的broker節點上刪除topic的log數據

操作如下：

1.查看topic的描述信息，命令如下

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

上圖標注部分為topic對應的數據存放節點

2.通過kafka命令刪除，命令如下：

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.通過zookeeper客戶端刪除topic，命令如下

zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181

ls /brokers/topics

rmr /brokers/topics/test

注：標紅部分為topic的名稱

4.登錄到第1步中列出的對應節點的topic的log數據目錄，此處我們Kafka的log.dirs目錄配置為/var/local/kakfa，執行命令

[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/

5.驗證是否生效

創建一個名稱為“test”的Topic，可以正常創建

注意：此處將topic為test的日志目錄（/var/local/kafka/test-0）刪除后，新創建的topic為test的日志目錄不存在，重啟Kafka服務后正常，目錄能正常顯示。

4.2方法2

在Kafka服務已配置delete.topic.enable=true的情況下，永久刪除topic需要做如下操作：

• 使用kafka命令刪除topic

操作如下：

1. 刪除前數據查看：

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

各個數據節點的信息：

Zookeeper信息：

2.通過kafka命令刪除需要刪除的topic，命令如下

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.查看Zookeeper客戶端topic信息

[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

4.查看brober節點上topic的日志數據

5.刪除后成功后，驗證是否能創建名稱為test的Topic

注意：

如果Kafka服務配置了delete.topic.enable=true，直接通過命令行刪除，未能刪除Topic則可以通過zookeeper-client來進行刪除。

如果Kafka服務未配置delete.topic.enable=true，直接通過delete命令刪除topic，刪除時只會將topic標記為“marked for deletion”，然后通過zookeeper-client進行刪除是不會刪除topic的data.log數據目錄的，需要將相應的broker服務器上的data.log目錄下相應的topic目錄刪除，data.log目錄獲取，可以通過CM界面查看：

建議：Kafka服務開啟delete.topic.enable=true，開啟方式如下：

開啟后需要重啟Kafka服務。

醉酒鞭名馬，少年多浮夸！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，數據玩的花！
溫馨提示：要看高清無碼套圖，請使用手機打開并單擊圖片放大查看。

歡迎關注Hadoop實操，第一時間，分享更多Hadoop干貨，喜歡請關注分享。

原創文章，歡迎轉載，轉載請注明：轉載自微信公眾號Hadoop實操