kafka完全分布式搭建
Kafka集群環境搭建步驟
1、環境準備：在win7系統 內存（8G）的硬件環境下，搭建3臺centOS虛擬機
1.1給機器配置主機名（ip需要固定）
執行命令：vim /etc/hosts，配置主機名如下：
172.16.60.208 kafka01
172.16.60.211 kafka02
172.16.60.217 kafka03
1.2 Xshell遠程命令連接上該虛擬機
1.3 為每臺虛擬機配置用戶/密碼登錄
2、配置jdk
2.1指定目錄下解壓jdk壓縮包 /usr/software/
2.2 配置jdk環境變量
JAVA_HOME=/usr/software/jdk1.8.0_131
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
3、下載安裝scala
3.1指定目錄下解壓jdk壓縮包 /usr/software/
3.2配置scala環境變量
#SCALA
export SCALA_HOME=/usr/software/scala-2.12.3
export PATH=$PATH:$SCALA_HOME/bin:$SCALA_HOME/sbin
4、下載安裝zookeeper
4.1配置zookeeper環境變量
#ZOOKEEPER
export ZOOKEEPER_HOME=/usr/software/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/sbin
4.2在/usr/software/zookeeper-3.4.10下執行如下命令：
mkdir tmp
echo “1”>myid #其他相應修改為2 ，3
4.3在/usr/software/zookeeper-3.4.10-alpha/conf目錄下執行命令：
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
在文件中修改如下參數：
dataDir=/usr/software/zookeeper-3.4.10/tmp
clientPort=2181
server.1=kafka01:2888:3888
server.2=kafka02:2888:3888
server.3=kafka03:2888:3888
4.4將配置好的zookeeper整個文件夾發送到其他虛擬機
scp –r zookeeper-3.4.10 kafka02:/usr/software
scp –r zookeeper-3.4.10 kafka03:/usr/software
5、下載安裝kafka
5.1配置kafka環境
#KAFKA
export KAFKA_HOME=/usr/software/kafka_2.10-0.10.2.1
export PATH=$PATH:$KAFKA_HOME/bin:$KAFKA_HOME/sbin
5.2在/usr/software/kafka_2.10-0.10.2.1/config目錄下，修改server.properties，在文件中修改如下參數：
broker.id=0 #當前server編號，其他相應修改
port=9092 #使用的端口
log.dirs= /usr/software/kafka_2.12-0.11.0.1/tmp/kafka-logs #日誌存儲目錄
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181
5.3將配置好的kafka整個文件夾發送到其他broker
scp –r kafka_2.10-0.10.2.1 kafka02:/usr/software
scp –r kafka_2.10-0.10.2.1 kafka03:/usr/software
5.4先啟動整個zookeeper集群：在各個機器上執行zkServer.sh start，出現下圖所示表示zookeeper啟動成功
再啟動整個kafka集群：在各個機器上執行bin/kafka-server-start.sh config/server.properties &，出現下圖所示表示kafka啟動成功
kafka完全分布式搭建