溫馨提示：要看高清無碼套圖，請使用手機開啟並單擊圖片放大檢視。

1.問題描述

使用kafka-topics --delete命令刪除topic時並沒有真正的刪除，而是把topic標記為：“marked for deletion”，導致重新建立相同名稱的Topic時報錯“already exists”。

2.問題復現

1.登入Kafka叢集所在的伺服器，建立一個test的topic

[[email protected] ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

2.檢視新建立的topic

[[email protected] ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

3.通過如下命令刪除新建的topic

[[email protected] ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

此處顯示“Topic test is marked for deletion”

4.嘗試重新建立一個test的Topic

[[email protected] ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

提示該Topic已存在，說明在第3步操作的刪除並沒有真正的將Topic刪除。

3.問題原因

預設情況下Kafka是禁用了刪除Topic的操作，所以在執行Topic刪除的時候只是將刪除的Topic標記為“marked for deletion”狀態。可以通過修改Kafka服務的配置引數啟用。

4.解決方法

4.1方法1

在kafka服務配置delete.topic.enable=false的情況下，如果需要永久刪除topic則需要做如下操作：

• 通過kafka命令刪除相應的topic
• 在zookeeper中刪除相應的topic
• 在topic所在的broker節點上刪除topic的log資料

操作如下：

1.檢視topic的描述資訊，命令如下

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

上圖標註部分為topic對應的資料存放節點

2.通過kafka命令刪除，命令如下：

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.通過zookeeper客戶端刪除topic，命令如下

zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181

ls /brokers/topics

rmr /brokers/topics/test

注：標紅部分為topic的名稱

4.登入到第1步中列出的對應節點的topic的log資料目錄，此處我們Kafka的log.dirs目錄配置為/var/local/kakfa，執行命令

[[email protected] data]$ sudo rm -rf test-0/

5.驗證是否生效

建立一個名稱為“test”的Topic，可以正常建立

注意：此處將topic為test的日誌目錄（/var/local/kafka/test-0）刪除後，新建立的topic為test的日誌目錄不存在，重啟Kafka服務後正常，目錄能正常顯示。

4.2方法2

在Kafka服務已配置delete.topic.enable=true的情況下，永久刪除topic需要做如下操作：

• 使用kafka命令刪除topic

操作如下：

1. 刪除前資料檢視：

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

各個資料節點的資訊：

Zookeeper資訊：

2.通過kafka命令刪除需要刪除的topic，命令如下

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.檢視Zookeeper客戶端topic資訊

[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

4.檢視brober節點上topic的日誌資料

5.刪除後成功後，驗證是否能建立名稱為test的Topic

注意：

如果Kafka服務配置了delete.topic.enable=true，直接通過命令列刪除，未能刪除Topic則可以通過zookeeper-client來進行刪除。

如果Kafka服務未配置delete.topic.enable=true，直接通過delete命令刪除topic，刪除時只會將topic標記為“marked for deletion”，然後通過zookeeper-client進行刪除是不會刪除topic的data.log資料目錄的，需要將相應的broker伺服器上的data.log目錄下相應的topic目錄刪除，data.log目錄獲取，可以通過CM介面檢視：

建議：Kafka服務開啟delete.topic.enable=true，開啟方式如下：

開啟後需要重啟Kafka服務。

醉酒鞭名馬，少年多浮誇！ 嶺南浣溪沙，嘔吐酒肆下！摯友不肯放，資料玩的花！
溫馨提示：要看高清無碼套圖，請使用手機開啟並單擊圖片放大檢視。

歡迎關注Hadoop實操，第一時間，分享更多Hadoop乾貨，喜歡請關注分享。

原創文章，歡迎轉載，轉載請註明：轉載自微信公眾號Hadoop實操