2. 程式人生 > >Kafka常用命令彙總

Kafka常用命令彙總

阿新 • • 發佈：2018-11-01 
Kafka常用命令彙總:

1、列出叢集裡的所有主題。
kafka-topics.sh --zookeeper localhost:2181 --list

[[email protected] ~]$ kafka-topics.sh --zookeeper localhost:2181 --list
ClearFdmDirtyDataCheckTopic
ClearFdmDirtyData_CheckTopic
ClearFdmDirtyData_Check_Topic
ClearFdmDirtyData_ExeTopic
TaskTag_Check_topic
TaskTag_Exe_topic



2、 建立一個叫作my-topic的主題,主題包含8分割槽,每個分割槽擁有兩個副本。
kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3

[
 
[email protected] ~]$ kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3
Created topic "my-topic".


3、列出叢集裡所有主題的詳細資訊。
kafka-topics.sh --zookeeper localhost:2181 --describe


[[email protected] ~]$ kafka-topics.sh --zookeeper localhost:2181 --describe
Topic:ClearFdmDirtyDataCheckTopic       PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: ClearFdmDirtyDataCheckTopic      Partition: 0    Leader: 163     Replicas: 163   Isr: 163
Topic:ClearFdmDirtyData_CheckTopic      PartitionCount:1        ReplicationFactor:3     Configs:
        Topic: ClearFdmDirtyData_CheckTopic     Partition: 0    Leader: 163     Replicas: 163,164,135   Isr: 163,164,135
Topic:ClearFdmDirtyData_Check_Topic     PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: ClearFdmDirtyData_Check_Topic    Partition: 0    Leader: 135     Replicas: 135   Isr: 135
Topic:ClearFdmDirtyData_ExeTopic        PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: ClearFdmDirtyData_ExeTopic       Partition: 0    Leader: 164     Replicas: 164   Isr: 164
Topic:TaskTag_Check_topic       PartitionCount:3        ReplicationFactor:3     Configs:
        Topic: TaskTag_Check_topic      Partition: 0    Leader: 135     Replicas: 135,163,164   Isr: 135,163,164
        Topic: TaskTag_Check_topic      Partition: 1    Leader: 136     Replicas: 136,164,135   Isr: 136,164,135
        Topic: TaskTag_Check_topic      Partition: 2    Leader: 162     Replicas: 162,135,136   Isr: 162,135,136
Topic:TaskTag_Exe_topic PartitionCount:3        ReplicationFactor:3     Configs:
        Topic: TaskTag_Exe_topic        Partition: 0    Leader: 164     Replicas: 164,162,163   Isr: 164,162,163
        Topic: TaskTag_Exe_topic        Partition: 1    Leader: 135     Replicas: 135,163,164   Isr: 135,163,164
        Topic: TaskTag_Exe_topic        Partition: 2    Leader: 136     Replicas: 136,164,135   Isr: 136,164,135
Topic:__consumer_offsets        PartitionCount:50       ReplicationFactor:3     Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
        Topic: __consumer_offsets       Partition: 0    Leader: 136     Replicas: 136,162,163   Isr: 162,163,136
        Topic: __consumer_offsets       Partition: 1    Leader: 162     Replicas: 162,163,164   Isr: 162,163,164
        Topic: __consumer_offsets       Partition: 2    Leader: 163     Replicas: 163,164,135   Isr: 163,164,135
        Topic: __consumer_offsets       Partition: 3    Leader: 164     Replicas: 164,135,136   Isr: 164,135,136
        Topic: __consumer_offsets       Partition: 4    Leader: 135     Replicas: 135,136,162   Isr: 162,135,136
        Topic: __consumer_offsets       Partition: 5    Leader: 136     Replicas: 136,163,164   Isr: 163,164,136
        Topic: __consumer_offsets       Partition: 6    Leader: 162     Replicas: 162,164,135   Isr: 162,164,135
        Topic: __consumer_offsets       Partition: 7    Leader: 163     Replicas: 163,135,136   Isr: 163,135,136
        Topic: __consumer_offsets       Partition: 8    Leader: 164     Replicas: 164,136,162   Isr: 162,164,136
        Topic: __consumer_offsets       Partition: 9    Leader: 135     Replicas: 135,162,163   Isr: 162,163,135
        Topic: __consumer_offsets       Partition: 10   Leader: 136     Replicas: 136,164,135   Isr: 164,135,136
        Topic: __consumer_offsets       Partition: 11   Leader: 162     Replicas: 162,135,136   Isr: 162,135,136
        Topic: __consumer_offsets       Partition: 12   Leader: 163     Replicas: 163,136,162   Isr: 162,163,136
        Topic: __consumer_offsets       Partition: 13   Leader: 164     Replicas: 164,162,163   Isr: 162,163,164
        Topic: __consumer_offsets       Partition: 14   Leader: 135     Replicas: 135,163,164   Isr: 163,164,135
        Topic: __consumer_offsets       Partition: 15   Leader: 136     Replicas: 136,135,162   Isr: 162,135,136
        Topic: __consumer_offsets       Partition: 16   Leader: 162     Replicas: 162,136,163   Isr: 162,163,136
        Topic: __consumer_offsets       Partition: 17   Leader: 163     Replicas: 163,162,164   Isr: 162,163,164
        Topic: __consumer_offsets       Partition: 18   Leader: 164     Replicas: 164,163,135   Isr: 163,164,135
        Topic: __consumer_offsets       Partition: 19   Leader: 135     Replicas: 135,164,136   Isr: 164,135,136
        Topic: __consumer_offsets       Partition: 20   Leader: 136     Replicas: 136,162,163   Isr: 162,163,136
        Topic: __consumer_offsets       Partition: 21   Leader: 162     Replicas: 162,163,164   Isr: 162,163,164
        Topic: __consumer_offsets       Partition: 22   Leader: 163     Replicas: 163,164,135   Isr: 163,164,135
        Topic: __consumer_offsets       Partition: 23   Leader: 164     Replicas: 164,135,136   Isr: 164,135,136
        Topic: __consumer_offsets       Partition: 24   Leader: 135     Replicas: 135,136,162   Isr: 162,135,136
        Topic: __consumer_offsets       Partition: 25   Leader: 136     Replicas: 136,163,164   Isr: 163,164,136
        Topic: __consumer_offsets       Partition: 26   Leader: 162     Replicas: 162,164,135   Isr: 162,164,135
        Topic: __consumer_offsets       Partition: 27   Leader: 163     Replicas: 163,135,136   Isr: 163,135,136
        Topic: __consumer_offsets       Partition: 28   Leader: 164     Replicas: 164,136,162   Isr: 162,164,136
        Topic: __consumer_offsets       Partition: 29   Leader: 135     Replicas: 135,162,163   Isr: 162,163,135
        Topic: __consumer_offsets       Partition: 30   Leader: 136     Replicas: 136,164,135   Isr: 164,135,136
        Topic: __consumer_offsets       Partition: 31   Leader: 162     Replicas: 162,135,136   Isr: 162,135,136
        Topic: __consumer_offsets       Partition: 32   Leader: 163     Replicas: 163,136,162   Isr: 162,163,136
        Topic: __consumer_offsets       Partition: 33   Leader: 164     Replicas: 164,162,163   Isr: 162,163,164
        Topic: __consumer_offsets       Partition: 34   Leader: 135     Replicas: 135,163,164   Isr: 163,164,135
        Topic: __consumer_offsets       Partition: 35   Leader: 136     Replicas: 136,135,162   Isr: 162,135,136
        Topic: __consumer_offsets       Partition: 36   Leader: 162     Replicas: 162,136,163   Isr: 162,163,136
        Topic: __consumer_offsets       Partition: 37   Leader: 163     Replicas: 163,162,164   Isr: 162,163,164
        Topic: __consumer_offsets       Partition: 38   Leader: 164     Replicas: 164,163,135   Isr: 163,164,135
        Topic: __consumer_offsets       Partition: 39   Leader: 135     Replicas: 135,164,136   Isr: 164,135,136
        Topic: __consumer_offsets       Partition: 40   Leader: 136     Replicas: 136,162,163   Isr: 162,163,136
        Topic: __consumer_offsets       Partition: 41   Leader: 162     Replicas: 162,163,164   Isr: 162,163,164
        Topic: __consumer_offsets       Partition: 42   Leader: 163     Replicas: 163,164,135   Isr: 163,164,135
        Topic: __consumer_offsets       Partition: 43   Leader: 164     Replicas: 164,135,136   Isr: 164,135,136
        Topic: __consumer_offsets       Partition: 44   Leader: 135     Replicas: 135,136,162   Isr: 162,135,136
        Topic: __consumer_offsets       Partition: 45   Leader: 136     Replicas: 136,163,164   Isr: 163,164,136
        Topic: __consumer_offsets       Partition: 46   Leader: 162     Replicas: 162,164,135   Isr: 162,164,135
        Topic: __consumer_offsets       Partition: 47   Leader: 163     Replicas: 163,135,136   Isr: 163,135,136
        Topic: __consumer_offsets       Partition: 48   Leader: 164     Replicas: 164,136,162   Isr: 162,164,136
        Topic: __consumer_offsets       Partition: 49   Leader: 135     Replicas: 135,162,163   Isr: 162,163,135




4、列出叢集裡特定主題的詳細資訊。
kafka-topics.sh --zookeeper localhost:2181 --describe  --topic my-topic

[
 
[email protected] ~]$ kafka-topics.sh --zookeeper localhost:2181 --describe  --topic my-topic
Topic:my-topic  PartitionCount:3        ReplicationFactor:3     Configs:
        Topic: my-topic Partition: 0    Leader: 135     Replicas: 135,162,163   Isr: 135,162,163
        Topic: my-topic Partition: 1    Leader: 136     Replicas: 136,163,164   Isr: 136,163,164
        Topic: my-topic Partition: 2    Leader: 162     Replicas: 162,164,135   Isr: 162,164,135


5、刪除一個叫作my-topic的主題。
kafka-topics.sh --zookeeper localhost:2181 --delete  --topic my-topic

[
 
[email protected] ~]$ kafka-topics.sh --zookeeper localhost:2181 --delete  --topic my-topic
Topic my-topic is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.


6、列出舊版本的所有消費者群組。
kafka-consumer-groups.sh --zookeeper localhost:2181 --list


7、列出新版本的所有消費者群組。
kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.21.50.162:9092 --list

[[email protected] ~]$ kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.21.50.162:9092 --list
ClearFDM_Check_ConsumerGroup_1
ClearFDM_Exe_ConsumerGroup_1
consumer_group_TaskTag_Check_topic
consumer_group_TaskTag_Exec_topic


8、獲取舊版本消費者群組testgroup的詳細資訊。
kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group testgroup

9、獲取新版本消費者群組testgroup的詳細資訊。
kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.21.50.162:9092 --describe --group testgroup


[[email protected] ~]$ kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.21.50.162:9092 --describe --group consumer_group_TaskTag_Check_topic
GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
consumer_group_TaskTag_Check_topic TaskTag_Check_topic            2          unknown         0               unknown         fda52f5c-3d16-434e-8ba7-d26975dfe2a5_/172.21.50.10
consumer_group_TaskTag_Check_topic TaskTag_Check_topic            1          unknown         0               unknown         cbd08551-8380-40ff-bcda-da59cfb9480c_/172.21.50.10
consumer_group_TaskTag_Check_topic TaskTag_Check_topic            0          unknown         22              unknown         50d7c78c-7528-4aad-ba94-68724628f2cd_/172.21.50.10


10、檢視某一個topic對應的訊息數量。
kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list 172.21.50.162:9092 --topic my-topic --time -1

[[email protected] ~]$ kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list 172.21.50.162:9092 --topic consumer_group_TaskTag_Check_topic --time -1
consumer_group_TaskTag_Check_topic:0:0


11、檢視log日誌片段的內容,顯示檢視日誌的內容。
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log

[[email protected] t9-1]$ kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log
Dumping 00000000000000000000.log
Starting offset: 0
offset: 0 position: 0 CreateTime: 1537343431271 isvalid: true payloadsize: 19 magic: 1 compresscodec: NoCompressionCodec crc: 2502058395 keysize: 13
offset: 1 position: 66 CreateTime: 1537343431272 isvalid: true payloadsize: 19 magic: 1 compresscodec: NoCompressionCodec crc: 2236582723 keysize: 13
offset: 2 position: 132 CreateTime: 1537343431272 isvalid: true payloadsize: 19 magic: 1 compresscodec: NoCompressionCodec crc: 3270504851 keysize: 13
offset: 3 position: 198 CreateTime: 1537343708182 isvalid: true payloadsize: 19 magic: 1 compresscodec: NoCompressionCodec crc: 450329064 keysize: 13


12、控制檯生產者:向主題 my-topic 生成兩個訊息。
kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic

[[email protected] ~]$ kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic
1
2
3
4
5
6
7



13、控制檯消費者:從主題 my-topic 獲取訊息。
kafka-console-consumer.sh --zookeeper localhost:2181  --topic my-topic --from-beginning
kafka-console-consumer.sh --new-consumer --bootstrap-server 172.21.50.162:9092  --topic my-topic --from-beginning

相關推薦

Kafka常用命令彙總

Kafka常用命令彙總: 1、列出叢集裡的所有主題。 kafka-topics.sh --zookeeper localhost:2181 --list [[email protected] ~]$ kafka-topics.sh --zookeeper localhost:218

kafka常用命令

--delete quit topic delet path web rod .sh del kafka 刪除topic /usr/local/kafka/bin/zookeeper-shell.sh IP:2181 WatchedEvent state:SyncConn

Vim常用命令彙總

三種模式 命令模式 編輯模式 底線命令模式 常用命令 切換到編輯模式 i：游標處插入 I：該行首插入 A：該行末插入 o：開闢下一行並插入 O：開闢上一行並插入 移動游標 $：行末 ^：行首

linux部署專案常用命令彙總

啟動tomcat：./startup.sh 停止tomcat：shutdown.sh 檢視是否啟動：ps -ef | grep tomcat 檢視通tomcat實時日誌：tail -f catalina.out 殺死程序：kill -9 5144 根據文字搜尋關鍵字：grep O

github常用命令彙總

創立版本庫 mkdir Baidu cd Baidu git init SSH ssh-keygen -t -rsa -C “[email protected]” （在github上new SSH，內容為id_rsa.pub） 新增遠端庫 （github上新建git倉庫

Android中的常用命令彙總

工欲善其事必先利其器，在Android開發過程中，為了開發除錯，查詢問題的需要，必須掌握一些常用的命令的用法，這裡總結了一些在Android開發中經常會用到的命令，一共15個。 1、ps 列出所有的程序 這個命令是Android除錯和問題查詢的時候經常會用到的一個命令，在不帶引數的情況下

git使用中常用命令彙總

git init：初始化當前目錄為git倉庫 git clone 倉庫地址：下載一份git倉庫到本地（clone下來的倉庫的預設名為origin，而且下載的是主分支，主分支一般是master） git status：檢查本地是否有更新。 git status -s：和g

git常用命令彙總

比較不同    git diff  比較本地和快取區的不同   git diff --cached 比較快取區和分支的不同 刪除和還原     rm test.txt 刪除本地檔案     git rm test.txt 刪除git檔案 撤銷修改和刪除： 1

conda常用命令彙總

conda --version   檢測conda版本 conda update conda  升級conda版本 conda create -n [名稱] python=2.7/3.5    建立一個python環境，版本為python引數設定的 python --vers

MySQL常用命令彙總（偏向運維管理）

MySQL常用命令彙總（偏向運維管理） 基礎部分 1. select @@version; ##查詢當前mysql的版本. 2. show variables like 'port';##檢視mysql例項的埠。 3. show variables like 'socket';##檢

git 常用命令彙總

1 獲取git的版本 git --version    2 初始化倉庫 git init   初始化一個本地倉庫 git --version   獲取git的版本 git config --global user.name "yourname" git

Linux/Unix常用命令彙總

Linux/Unix常用命令彙總 Linux中最常用的命令，應熟練使用 ls：檢視檔案資訊 clear：清屏 cd：切換工作目錄 pwd：顯示當前路徑 mkdir：建立目錄 rm：刪除檔案 cp：拷貝

redis部分常用命令彙總

redis命令有很多，一般包括伺服器命令和一些具體資料結構的操作命令，這裡介紹了一些常用命令彙總，主要是通過查閱資料和結合個人總結，方便自己也方便他人查閱，如有不對之處還請多多指教。 啟動 redis 客戶端 開啟終端或在redis檔案路徑開啟命令列並輸入命令 redis-cli。該命令會連

ROS常用命令彙總

  ROS系統也是通過命令列操作,總結了下平時工作中使用的命令工具，以後使用多會陸續新增. 檢視ROS_PACKAGE_PATH環境變數 $ echo $ROS_PACKAGE_PATH /home/saneri/catkin_ws/src:/opt/ros/kinetic/share

Linux系統運維常用命令彙總

netstat -na | grep 7651  檢視本機7651埠在和誰通訊  ps aux | grep 7651 檢視本機7651程序的相關資訊 md5sum 檔名 用於檢視檔案的md5值，常用於檢查檔案是否一致 ps aux --sort -rss 顯示各個程

linux vi(vim)常用命令彙總(轉)

前言 首先介紹一下 vim vi 是 unix/linux 下極為普遍的一種文字編輯器, 大部分機器上都有 vi 有各種變種, 在不同的機器上常用不同的變種軟體 其中 vim 比較好用也用得比較廣泛 vim 是 Vi IMproved 的縮寫, 表示更好的 vi 本文就說些其中比較有用, 比較常用的命令,

Linux企業運維人員最常用命令彙總

常用命令 命令 功能說明 線上查詢及幫助命令（2個） man 檢視命令幫助，命令的詞典，更復雜的還有info，但不常用 help 檢視Linux內建命令的幫助，比如cd命令

Linux運維最常用命令彙總

Linux運維最常用命令彙總 線上查詢及幫助命令  命令 說明 man 檢視命令幫助，命令的詞典，更復雜的還有info，但不常用。（man手冊） help 檢視Linux內建命令的

【本人禿頂程式設計師】Redis使用過程中的一些常用命令彙總

←←←←←←←←←←←← 快，點關注！ 最近購買了阿里雲的Redis做論壇session儲存和快取實現，本身專案中也使用了Redis做分散式叢集session管理，抽空整理一下常用到的命令集合(隨時更新)。 本地或者遠端連線 redis-cli -h host -p port -

MongoDB常用命令彙總之檢視聚集集合基本資訊。

檢視幫助 db.yourColl.help();檢視當前集合的資料條數 db.yourColl.count();檢視資料空間大小 db.userInfo.dataSize();得到當前聚集集合所在的d