1. 程式人生 > >kafka叢集安裝步驟

kafka叢集安裝步驟

準備工作: 安裝好zookeeper叢集

一、上傳並解壓

	1. cd /usr/kafka   (沒有目錄的話自己建立)
	2. rz
	3. tar -zxvf kafka_2.12-1.1.0.tgz

二、2.修改配置檔案 /usr/kafka/kafka_2.12-1.1.0/config

	1.修改server.properties   
			修改broker.id和zookeeper,並在最後追加host.name=master
			
			broker.id=01
			......
			zookeeper.connect=zhiyou01:2181,zhiyou02:2181,zhiyou03:2181
			.......
			host.name=master

三、分發到其他節點下

	(1)scp  -r  /usr/kafka/ [email protected]:/usr/kafka/
	(2)scp  -r  /usr/kafka/ [email protected]:/usr/kafka/

四、更改其他節點的配置檔案

	slave01 的    broker.id=02           
						 host.name=zhiyou02
	slave02 的    broker.id=03
						 host.name=zhiyou03

五、啟動

	1、先啟動zookeeper  (3臺)
			cd /usr/zookeeper/zookeeper-....../bin/
			./zkServer.sh start
	2、再啟動kafka  (3臺)
			[
[email protected]
kafka_2.12-1.1.0]# ./bin/kafka-server-start.sh -daemon config/server.properties & [1] 2949 [[email protected] kafka_2.12-1.1.0]# jps 2549 QuorumPeerMain 3261 Jps 3199 Kafka [1]+ Done ./bin/kafka-server-start.sh -daemon config/server.properties [
[email protected]
kafka_2.12-1.1.0]#

六、建立主題

	1.[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-topics.sh --create --zookeeper master:2181,slave01:2181,slave02:2181 --replication-factor 3 --partitions 3 --topic test
	Created topic "test".
	[[email protected] kafka_2.12-1.1.0]# 
	2.列出已建立的topic列表(master上)
	[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-topics.sh --list --zookeeper localhost:2181
	test
	[[email protected] kafka_2.12-1.1.0]# 
	3.啟動控制檯生產者 (master上)
	[email protected] kafka_2.12-1.1.0]./bin/kafka-console-producer.sh --broker-list master:9092, slave01:9092, slave02:9092 --topic test
	[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-console-producer.sh --broker-list zhiyou01:9092, zhiyou02:9092, zhiyou03:9092 --topic test
	>  hello
	4.啟動控制檯消費者  (其他的節點上面)
	[[email protected] kafka_2.12-1.1.0]# ./bin/kafka-console-consumer.sh --bootstrap-server master:9092, slave01:9092, slave02:9092 --from-beginning --topic test
	從生成者輸入訊息,在消費者檢視訊息,在其他節點上可以接收到hello即成功