1. 程式人生 > >kafka使用筆記-免認證kafka單機環境搭建及測試

kafka使用筆記-免認證kafka單機環境搭建及測試

本次使用的kafka為最新的版本,zookeeper均使用kafka自帶版本,僅對相關進行配置即可。

一、準備工作

1、環境:ubuntu16
2、安裝包:開啟此連結 選擇下載的路徑和相應的資料包,我下載的是 kafka_2.11-2.1.0.tgz 版本
3、安裝jdk
jdk分為以下幾種:jre、openjdk、 oracle jdk,這裡我們要安裝的是oracle jdk(推薦安裝),過程:

add-apt-repository ppa:webupd8team/java
apt-get update
apt-get install oracle-java8-installer
apt-get install oracle-java8-set-default

二、安裝免認證Kafka環境

1、 解壓安裝包
將已下載的安裝包拷貝到機器的目錄(目錄沒有限制)後,直接解壓。

tar -zxvf kafka_2.10-0.10.1.0

解壓後的目錄結構如下圖所示:
在這裡插入圖片描述
2、修改配置項
以下3步的修改2)和3)不是必須的,可以根據自己的情況決定。
1) 配置kafka的服務監聽埠
進入剛解壓的目錄,進入config/目錄,開啟kafka的配置檔案server.properties檔案,查詢欄位 host_name:port ,根據自己的IP地址修改,如下圖所示,左側為已經修改的配置項。
kafka配置修改
2)配置Kafka的日誌儲存目錄
同樣是上述1)的檔案,查詢欄位 log.dirs= ,修改為自定義的日誌儲存路徑即可。如下圖所示,左側為我自己自定義的目錄(目錄必須存在

)。
在這裡插入圖片描述
3)配置zookeeper的日誌儲存目錄
在config/目錄下,開啟配置檔案 zookeeper.properties 修改下圖所示的欄位即可(目錄必須存在)。
在這裡插入圖片描述
3、啟動
由於kafka是以zookeeper (zookeeper是什麼?) 作為檔案系統,所以在啟動kafka服務之前需要先啟動zookeeper服務。進入bin/目錄,執行以下命令:
1) 後臺啟動zookeeper服務

./zookeeper-server-start.sh -daemon  ../config/zookeeper.properties

2)後臺啟動Kafka服務

./kafka-server-start.sh -daemon ../config/server.properties

檢視日誌檔案,確保zookeeper和kafka的啟動沒有異常(我沒有修改預設的日誌路徑):
在這裡插入圖片描述
3)為了方便將兩個命令合成了兩個指令碼,用於啟停服務,指令碼在kafka解壓檔案的根目錄下,見二、-1中結構,指令碼如下:
啟動服務

#/bin/bash
#啟動zookeeper
bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties
#啟動kafka
bin/kafka-server-start.sh -daemon config/server.properties

停止服務

#/bin/bash
#停止zookeeper
bin/kafka-server-stop.sh
#停止kafka
bin/zookeeper-server-stop.sh

4、 測試
使用kafka自帶的指令碼我們可以對kafka進行簡單的測試。進入bin/目錄,執行以下指令碼進行測試。
1)生產資料

./kafka-console-producer.sh --broker-list 192.168.207.132:9092 --topic test

如下圖所示。
a. 等待輸入生產的資料
等待輸入資料
b. 輸入生產資料後回車,並沒有報錯,說明資料生產成功,可以用消費指令碼檢視
在這裡插入圖片描述
2)消費資料

./kafka-console-consumer.sh  --bootstrap-server 192.168.207.132:9092  --topic test --from-beginning

需要注意的是引數 --from-beginning 表示消費全量,具體的含義請查閱其他資料
如下圖所示,主題為test的所有資料。
在這裡插入圖片描述

綜上,kafka的免驗證環境搭建到驗證就結束了,下一篇搭建基於SASL認證的kafka偽叢集服務