Kafka安裝和常用操作命令
阿新 • • 發佈：2018-12-10
副本 創建 cer keep sta 輸出 --delete true zook
log.dirs= /usr/kafka_2.10-0.8.2.1/data //最後不要寫log
zookeeper.connect=master:2181,slave01:2181,slave02:2181
delete.topic.enable = true //刪除話題的時候需要設置其為true
num.partitions=3//建議默認3個分區，如果AIP裏面你的分區數大於系統規定的則拋出異常 //分發給其他兩臺服務器，每臺機器的broker.id必須唯一
3.配置環境變量 常用操作命令：
kafka-server-start.sh $KAFKA_HOME/config/server.properties >>$KAFKA_HOME/run_data 2>&1 & //創建話題 指定zookeeper集群中任意一個主機都可以
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 1 --topic topic1
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 3 --topic topic2
kafka-topics.sh --describe --zookeeper slave01:2181 --topic topic1 //發送消息（生產者）
//輪循寫入分區，即012 012 012
//第一次打開生產者是寫入0分區，退出後，第二次打開生產者寫入1分區
kafka-console-producer.sh --broker-list localhost:9092 --topic topic2
//2）當前broker（節點）沒有kafka服務時，需要指定一個有kafka服務的broker（zookeeper集群中任意一個），
kafka-console-producer.sh --broker-list slave02:9092 --topic topic2 //接收隊列消息(消費者） from-beginning如果不加，那麽在消費者沒有啟動的時候，或者說它不在線之前的信息收不到
kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic2 --from-beginning //刪除話題 需要server.properties中設置delete.topic.enable=true否則只是標記刪除或者直接重啟。
kafka-topics.sh --delete --zookeeper \localhost:2181 --topic topic1 //查看所有話題
kafka-topics.sh --list --zookeeper localhost:2181
Kafka安裝：
下載kafka_2.10-0.8.2.1
1.關閉防火墻
2.修改配置文件 server.properties
broker.id=1log.dirs= /usr/kafka_2.10-0.8.2.1/data //最後不要寫log
zookeeper.connect=master:2181,slave01:2181,slave02:2181
delete.topic.enable = true //刪除話題的時候需要設置其為true
num.partitions=3//建議默認3個分區，如果AIP裏面你的分區數大於系統規定的則拋出異常 //分發給其他兩臺服務器，每臺機器的broker.id必須唯一
3.配置環境變量 常用操作命令：
kafka-server-start.sh $KAFKA_HOME/config/server.properties >>$KAFKA_HOME/run_data 2>&1 & //創建話題 指定zookeeper集群中任意一個主機都可以
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 1 --topic topic1
kafka-topics.sh --create --zookeeper master:2181 --replication-factor 3 --partitions 3 --topic topic2
kafka-topics.sh --describe --zookeeper slave01:2181 --topic topic1 //發送消息（生產者）
//輪循寫入分區，即012 012 012
//第一次打開生產者是寫入0分區，退出後，第二次打開生產者寫入1分區
kafka-console-producer.sh --broker-list localhost:9092 --topic topic2
//2）當前broker（節點）沒有kafka服務時，需要指定一個有kafka服務的broker（zookeeper集群中任意一個），
kafka-console-producer.sh --broker-list slave02:9092 --topic topic2 //接收隊列消息(消費者） from-beginning如果不加，那麽在消費者沒有啟動的時候，或者說它不在線之前的信息收不到
kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic2 --from-beginning //刪除話題 需要server.properties中設置delete.topic.enable=true否則只是標記刪除或者直接重啟。
kafka-topics.sh --delete --zookeeper \localhost:2181 --topic topic1 //查看所有話題
kafka-topics.sh --list --zookeeper localhost:2181
Kafka安裝和常用操作命令