Kafka 安裝和搭建 (一)
kafka (官網地址:http://kafka.apache.org)是一款分散式訊息釋出和訂閱的系統,具有高效能和高吞吐率。
i. 訊息的釋出(publish)稱作producer,訊息的訂閱(subscribe)稱作consumer,中間的儲存陣列稱作broker。
ii. 多個broker協同合作,producer、consumer和broker三者之間通過zookeeper來協調請求和轉發。
iii. producer產生和推送(push)資料到broker,consumer從broker拉取(pull)資料並進行處理。
iv. broker端不維護資料的消費狀態,提升了效能。
v. 直接使用磁碟進行儲存,線性讀寫,速度快:避免了資料在JVM記憶體和系統記憶體之間的複製,減少耗效能的建立物件和垃圾回收。
vi. Kafka使用scala編寫,可以執行在JVM上。
2. 安裝:
a. 首先安裝JRE/JDK
Linux安裝JDK
b. 下載kafka
進入下載頁面:http://kafka.apache.org/downloads.html
選擇Binary downloads下載 (Source download需要編譯才能使用)
也可以直接在linux終端下載:
Shell程式碼
- wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz
c. 解壓
Shell程式碼
- tar -xzvf kafka_2.8.0-0.8.1.tgz
-
rm kafka_2.8.0
- cd kafka_2.8.0-0.8.1
目錄:
/bin 啟動和停止命令等。
/config 配置檔案
/libs 類庫
d. 修改配置
Kafka預設開啟JVM壓縮指標,但只是在64位的HotSpot VM受支援,如果安裝了32位的HotSpot VM,需要修改/bin/kafka-run-class.sh檔案
Shell程式碼
- vi bin/kafka-run-class.sh
找到如下行:
Sh程式碼
-
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
去除-XX:+UseCompressedOops引數
3. 啟動和停止
啟動Zookeeper server:
Shell程式碼
- bin/zookeeper-server-start.sh config/zookeeper.properties &
&是為了能退出命令列
啟動Kafka server:
Shell程式碼
- bin/kafka-server-start.sh config/server.properties &
停止Kafka server
Shell程式碼
- bin/kafka-server-stop.sh
停止Zookeeper server:
Shell程式碼
- bin/zookeeper-server-stop.sh
4. 單機連通性測試
執行producer:
Shell程式碼
- bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
早版本的Kafka,--broker-list localhost:9092需改為--zookeeper localhost:2181
執行consumer:
Shell程式碼
- bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
在producer端輸入字串並回車,檢視consumer端是否顯示。
5. 分散式連通性測試
Zookeeper Server, Kafka Server, Producer都放在伺服器server1上,ip地址為192.168.1.10
Consumer放在伺服器server2上,ip地址為192.168.1.12。
分別執行server1的producer和server2的consumer,
Shell程式碼
- bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test
Shell程式碼
- bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning
在producer的console端輸入字串,consumer報Connection refused錯誤:
broker, producer和consumer都註冊到zookeeper上,producer和consumer的引數明確指定。問題出在broker的配置檔案server.properties上:
Properties程式碼
- # Hostname the broker will bind to. If not set, the server will bind to all interfaces
- #host.name=localhost
host名稱沒有指定,就是127.0.0.1,consumer去broker拿資料就有問題。設定為192.168.1.10,重啟服務就好了。
相關推薦
Kafka 安裝和搭建 (一)
1. 簡介 kafka (官網地址:http://kafka.apache.org)是一款分散式訊息釋出和訂閱的系統,具有高效能和高吞吐率。 i. 訊息的釋出(publish)稱作producer,訊息的訂閱(subscribe)稱作consumer,中間的儲存陣列稱作broker。 ii. 多個br
kafka安裝和環境搭建
kafka具體的介紹這裡不再進行敘述,已經有很多的好的文章進行敘述了,這裡只是記錄下自己搭建kafka環境的相關過程。 作業系統:centos6.5 64位 三臺伺服器(虛擬機器)192.168.100.90,192.168.100.91,192.168.100.92 三臺伺服器組成kafka叢集,90和9
kafka安裝和使用
grep keys operator comment 隨機 寫入 實時流處理 生產者 keyword kafka安裝和啟動 kafka的背景知識已經講了很多了,讓我們現在開始實踐吧,假設你現在沒有Kafka和ZooKeeper環境。 Step 1: 下
gitlab的安裝和使用(一)
gitlab gitlab安裝 gitlab使用 gitlab的安裝和使用(一) 安裝 準備工作:關掉防火墻查看selinux狀態: getenforce臨時關閉(不用重啟機器): setenforce 0 修改配置文件需要重啟機器: 修改/etc/selinux/config 文件將S
kafka安裝和使用遠程代碼進行訪問 ---附踩坑記錄
from name trap 谷歌 tar.gz ps命令 生產者 config strings kafka安裝和使用java連接遠程服務器進行消息的生成與消費 首先要使用kafka,要有jdk和zookeeper的環境 本文在阿裏雲的centos7環境上進行 jdk版本選
kafka安裝和使用遠程代碼進行訪問 ---附踩坑記錄
dem 好的 nec network com 發送 too 所有 tar.gz kafka安裝和使用java連接遠程服務器進行消息的生成與消費首先要使用kafka,要有jdk和zookeeper的環境本文在阿裏雲的centos7環境上進行jdk版本選擇的是1.8.0_181
Kafka安裝和常用操作命令
副本 創建 cer keep sta 輸出 --delete true zook Kafka安裝: 下載kafka_2.10-0.8.2.1 1.關閉防火墻 2.修改配置文件 server.properties broker.id=1log.dirs= /usr/kafk
Fastadmin的安裝和搭建環境
Fastadmin的安裝和環境的搭建 安裝git 開啟下載下來的檔案,找到git安裝包點選安裝. 安裝時一直點選下一步即可,如要改路徑自行改即可 安裝node-v8.4.0-x64 點選node的安裝包進行安裝,與git安裝相同一直點選下一步即可。
kafka安裝和基本使用
一、kafka單機安裝 1.下載 kafka_2.9.2-0.8.1.1.tgz 2.將檔案解壓 3.進入 kafka_2.9.2-0.8.1.1/config 目錄 4.修改 server.properties檔案 引數 參考引
Mac中kafka安裝和測試
kafka的安裝,在安裝kafka會將其依賴的zookeeper下載 brew install kafka 進入到/usr/local/Cellar 路徑之下會看見軟體位置 /usr/local/Cellar/zookeeper /usr/local/Cellar/kafka
Linux系統中KafKa安裝和使用方法 java客戶端連線kafka
kafka linux單機安裝1 下載並安裝kafka# tar zxvf kafka_2.12-1.1.0tgz # mv kafka_2.12-1.1.0 /usr/local/kafka # cd /usr/local/kafka2 啟動服務執行kafka需要使用Zo
Windows 10系統下安裝和搭建TensorFlow筆記(for CPU only)
1. 環境介紹 CPU:Intel Core i5 7500 OS:Windows 10 x64 VS:Visual Studio 2015 注意: 本文僅適用於基於CPU的TensorFlow環境搭建,對GPU硬體沒有要求,也無需安裝顯示卡驅動。 2.
mac下Hadoop、HDFS、Spark環境的安裝和搭建
環境搭建 相比之前搭建Hadoop環境的Windows系統的相對繁瑣步驟,Mac下顯得簡單不少。 雖然我們需要搭建的是Spark環境,但是因為Spark依賴了Hadoop的HDFS以及YARN計算框架,當然還有類似軟體包管理軟體。 安裝前必備 作業系統:Mac OS
Caffe學習筆記2:Windows下安裝和搭建caffe框架
小菜在這裡要感謝實習老師張xx,是他的無私奉獻。他把他之前安裝和搭建caffe框架的過程全部記錄下來了寫成文件了,小菜是按照他caffe學習筆記一步一步安裝的,讓小菜少走了許多彎路,不過小菜在安裝的額
windows環境下搭建Java開發環境(一):jdk安裝和配置
變量 win jns jdk安裝 分享 tool 直接 www. 技術 一、資源下載 官網:http://www.oracle.com/technetwork/java/javase/downloads/index.html 本人安裝的是jdk1.8,百度雲資源:鏈
Kafka 學習——一、Kafka 的安裝和測試
一、Kafka 安裝 1.1 Zookeeper 的安裝 進入需要安裝的目錄 (此處以 /usr/software 為準) tar -zxvf /mnt/hgfs/share-file/zookeeper-3.4.13 sudo vim /etc/profil
redis學習教程一《Redis的安裝和配置》
遠程服務 name 工具 列表 端口號 裏的 redis服務器 映射 tin redis學習教程一《Redis的安裝和配置》 Redis的優點 以下是Redis的一些優點。 異常快 - Redis非常快,每秒可執行大約110000次的設置(SET)操作,每秒大約可執
zookeeper與kafka安裝部署及java環境搭建
3.4 項目目錄 tin bytes result zxvf util ise cat 1. ZooKeeper安裝部署 本文在一臺機器上模擬3個zk server的集群安裝。 1.1. 創建目錄、解壓 cd /usr/ #創建項目目錄 mkdir zookeepe
Kafka的安裝和設置
發布 scp keep 三種模式 conf 多個 file 解壓 path Kafka是一種分布式發布訂閱消息系統。 Kafka有三種模式: (1)單節點單Broker,在一臺機器上運行一個Kafka實例; (2)單節點多Broker,在一臺機器上運行多個Kafka實
(一)在Linux上安裝和編譯OpenCV3.0.0
接口 mac os color 下載源 同時 beta c函數 install mkdir OpenCV的全稱是:Open Source Computer Vision Library。OpenCV是一個基於(開源)發行的跨平臺計算機視覺庫,可以運行在Linux、W