Kafka環境搭建

Kafka單機環境搭建

安裝必需

• jdk，這裡使用的是jdk1.8
• scala，需要獨立安裝scala，這裡使用的是scala 2.11.8
• zookeeper，Kafka會自帶zk，但是最好使用獨立的

安裝步驟

1.將Kafka的tar包上傳到測試環境，解壓到/opt/software，配置環境變數

KAFKA_HOME=/opt/software/kafka_2.11-1.1.0/
PATH=$KAFKA_HOME/bin:$SCALA_HOME/bin:$PATH
export KAFKA_HOME
export SCALA_HOME
export PATH

2.配置Kafka的broker，配置檔案在config/server.properties，修改以下引數為下面的值

broker.id = 0
listeners=PLAINTEXT://Hadoop01:9092
log.dirs = /tmp/kafka-logs
zookeeper.connect=Hadoop01:2181
num.partitions = 1
log.retention.hours = 168

broker.id：每個broker的唯一標識 listeners：要監聽的地址和埠 log.dirs：Kafka的logsegment zookeeper.connect：zookeeper叢集資訊，包括主機名和埠號，如果配置叢集，需要每個節點的資訊都加上，並用逗號隔開 num.partitions：每個topic預設的分割槽數，跟節點數相等，這裡配單機所以設為1 log.retention.hours：logsegment保留的時間，預設是七天

3.啟動測試 首先啟動zookeeper：zkServer.sh start 啟動Kafka：/opt/software/kafka_2.11-1.1.0/bin/kafka-server-start.sh /opt/software/kafka_2.11-1.1.0/config/server.properties & 建立Topic：/opt/software/kafka_2.11-1.1.0/bin/kafka-topics.sh --create --zookeeper hadoop111:2181 --replication-factor 1 --partitions 1 --topic singleServer 檢視已經建立的Topic：/opt/software/kafka_2.11-1.1.0/bin/kafka-topics.sh --list --zookeeper hadoop111:2181

Kafka分散式環境搭建

以3個節點為例，每個節點上都需要解壓kafka的壓縮包，然後配置環境變數，這裡就略過不講了，每個節點的配置檔案server.properties也是一樣的，只有broker.id需要單獨修改，因為每個節點需要有唯一的id號

配置好後啟動ZooKeeper叢集，在每一個節點上啟動broker即可