1. 程式人生 > >Kafka學習筆記(1)----Kafka的簡介和Linux下單機安裝

Kafka學習筆記(1)----Kafka的簡介和Linux下單機安裝

1. Kafka簡介

  Kafka is a distributed,partitioned,replicated commit logservice。它提供了類似於JMS的特性,但是在設計實現上完全不同,此外它並不是JMS規範的實現。kafka對訊息儲存時根據Topic進行歸類,傳送訊息者成為Producer,訊息接受者

為Consumer,此外kafka叢集有多個kafka例項組成,每個例項成為broker。無論是kafka叢集,還是producer和consumer都依賴於zookeeper來保證系統可用性叢集儲存一些meta資訊。

  

2. ubuntu下安裝Kafka

  環境說明: 

  1. os:Ubuntu 16.04

  2. zookeeper:zookeeper 3.4.13

  3. kafka:kafka_2.11-2.0.1

  4. jdk:jdk 8(kafka啟動需要使用到jdk)

2.1 jdk安裝

  jdk在安裝是較為常見的,所以這裡就不再詳細介紹了。

2.2 zookeeper安裝

  首先下載zookeeper,下載地址為:http://mirror.bit.edu.cn/apache/zookeeper/,如當前源不能訪問,請自行更換其他源。如圖:

  

  根據自己的需要的版本下載相應的.tar.gz檔案,將下載的檔案上傳到伺服器上。通過Xshell 6端,使用命令rz。

  解壓檔案:

  

  解壓後進入conf資料夾,

  將zoo_sample.cfg拷貝一份為zoo.cfg

  如下:

  

  修改zoo.cfg檔案:

  

  為zookeeper配置環境變數:

vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/middle/zookeeper-3.4.13
export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

  

儲存退出

  使用zkServer.sh start啟動zookeeper服務:

  

啟動成功,配置正確,然後關閉服務zkServer.sh stop

2.3 安裝配置Kafka單機模式

  下載Kafka,下載地址為:http://mirror.bit.edu.cn/apache/kafka/2.0.1/,如果源不可用,自行更換其他源。如圖:

  

  下載自己需要的版本

  將下載的Kafka上傳到伺服器,使用如下命令解壓:

tar -zxvf kafka_2.11-2.0.1.tgz 

  解壓後進入到config資料夾,如下:

  

  分別配置三個檔案:

  server.properties:

  主要配置以下幾項,其他的都按預設配置即可

broker.id=1
#指定埠
port=9092
#指定主機
host.name=localhost
#資料儲存位置
log.dirs=/usr/local/middle/kafka_2.11-2.0.1/kafka-logs
#連線zookeeper配置項,這裡指定的是單機,所以只需要配置localhost,若是實際生產環境,需要在這裡新增其他ip地址和埠號
zookeeper.connect=localhost:2181

  如圖:

·

  zookeeper.properties配置:

  

  producer.properties配置:

  

  consumer.properties配置:

  

  啟動kafka:

  1. 啟動zookeeper服務

  進入kafka根目錄,使用如下命令啟動zookeeper。

bin/zookeeper-server-start.sh config/zookeeper.properties

  如圖:

  會執行環境變數配置的zk,出現如上圖所示表示啟動成功。

  新開一個會話啟動kafka,使用如下命令:

bin/kafka-server-start.sh config/server.properties

  如下圖: 

 

  出現如上圖則表示kafka啟動成功。

  至此,單機的Kafka安裝完成了。