2. 程式人生 > >kafka+zookeeper偽叢集搭建

kafka+zookeeper偽叢集搭建

阿新 • • 發佈：2019-01-10
(一.zookeeper偽叢集搭建)1.建立3個zoo.cfg(zoo1.cfg,zoo2.cfg,zoo3.cfg)zoo1.cfg 設定:# 資料資料夾dataDir=/usr/local/zookeeper/data/data1# 日誌資料夾dataLogDir=/usr/local/zookeeper/logs/logs1clientPort=2181server.1=192.168.94.132:2887:3887server.2=192.168.94.132:2888:3888server.3=192.168.94.132:2889:3889zoo2.cfg 設定:# 資料資料夾dataDir=/usr/local/zookeeper/data/data2
# 日誌資料夾dataLogDir=/usr/local/zookeeper/logs/logs2clientPort=2182server.1=192.168.94.132:2887:3887server.2=192.168.94.132:2888:3888server.3=192.168.94.132:2889:3889zoo3.cfg 設定:# 資料資料夾dataDir=/usr/local/zookeeper/data/data3# 日誌資料夾dataLogDir=/usr/local/zookeeper/logs/logs2clientPort=2183server.1=192.168.94.132:2887:3887
server.2=192.168.94.132:2888:3888server.3=192.168.94.132:2889:38892.建立3個myid在usr/local/zookeeper/data/datax下闖進myid檔案作為識別符號,對應server.x數字3.啟動偽叢集服務    bin/zkServer.sh start conf/zoo1.cfgbin/zkServer.sh start conf/zoo2.cfgbin/zkServer.sh start conf/zoo3.cfg4.檢視偽叢集服務每個zookeeper狀態[[email protected] zookeeper-3.4.11]# bin/zkServer.sh status conf/zoo1.cfg
ZooKeeper JMX enabled by defaultUsing config: conf/zoo1.cfgMode: follower[[email protected] zookeeper-3.4.11]# bin/zkServer.sh status conf/zoo2.cfgZooKeeper JMX enabled by defaultUsing config: conf/zoo2.cfgMode: leader[[email protected] zookeeper-3.4.11]# bin/zkServer.sh status conf/zoo3.cfgZooKeeper JMX enabled by defaultUsing config: conf/zoo3.cfgMode: follower(二.kafka偽叢集搭建)1. 將配置檔案拷貝多份[root@master zookeeper-3.4.11]$cp config/server.properties config/server-1.properties[root@master zookeeper-3.4.11]$cp config/server.properties config/server-2.properties[root@master zookeeper-3.4.11]$cp config/server.properties config/server-3.properties2.修改每個server-x.propertiesserver-1.properties 設定:broker.id=1port=9092host.name=192.168.94.132log.dirs=/usr/local/kafka/kafka-logs-1message.max.byte=5242880default.replication.factor=2replica.fetch.max.bytes=5242880zookeeper.connect=192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183# 可刪除topicdelete.topic.enable=trueserver-2.properties 設定:broker.id=2port=9093host.name=192.168.94.132log.dirs=/usr/local/kafka/kafka-logs-2message.max.byte=5242880default.replication.factor=2replica.fetch.max.bytes=5242880zookeeper.connect=192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183# 可刪除topicdelete.topic.enable=trueserver-3.properties 設定:broker.id=3port=9093host.name=192.168.94.132log.dirs=/usr/local/kafka/kafka-logs-3message.max.byte=5242880default.replication.factor=2replica.fetch.max.bytes=5242880zookeeper.connect=192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183# 可刪除topicdelete.topic.enable=true每個kafka的broker.id不一樣,作為唯一識別符號

(三)啟動叢集測試

注：啟動時：先啟動 zookeeper，後啟動 kafka；關閉時：先關閉 kafka，後關閉zookeeper1. 分別在每個節點上啟動zookeeper[root@master zookeeper-3.4.11]$ bin/zkServer.sh start conf/zoo1.cfg[root@worker1 zookeeper-3.4.11]$ bin/zkServer.sh start conf/zoo2.cfg[root@worker2 zookeeper-3.4.11]$ bin/zkServer.sh start conf/zoo3.cfg2.驗證zookeeper叢集# 在master節點上[root@master zookeeper-3.4.11]$ bin/zkServer.sh status conf/zoo1.cfg# 在worker1節點上[root@worker1 zookeeper-3.4.11]$ bin/zkServer.sh status conf/zoo2.cfg# 在worker2節點上[root@worker2 zookeeper-3.4.11]$ bin/zkServer.sh status conf/zoo3.cfg顯示結果為：有一個是leader，剩下的都是follower3.啟動kafka叢集後臺啟動方式:[root@master kafka_2.12-1.1.0]$ bin/kafka-server-start.sh -daemon config/server-1.properties[root@master kafka_2.12-1.1.0]$ bin/kafka-server-start.sh config/server.properties config/server-1.properties[root@worker1 kafka_2.12-1.1.0]$ bin/kafka-server-start.sh config/server.properties config/server-1.properties[root@worker2 kafka_2.12-1.1.0]$ bin/kafka-server-start.sh config/server.properties config/server-1.properties4.測試kafka叢集4.1 建立 topic 和 顯示 topic 資訊# 建立topicbin/kafka-topics.sh --create --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183 --replication-factor 3 --partitions 3 --topic test# 顯示topic資訊bin/kafka-topics.sh --describe --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183 --topic test# 列出topicbin/kafka-topics.sh --list --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:21834.2 建立 producerbin/kafka-console-producer.sh --broker-list master:9092 -topic test4.3 建立 consumer# 測試消費 也可分別做測試bin/kafka-console-consumer.sh --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183 -topic test --from-beginning然後在 producer 裡輸入訊息，consumer 中就會顯示出同樣的內容，表示消費成功4.3刪除節點bin/kafka-topics.sh --delete --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183 --topic test(四)關閉叢集服務# 刪除topicbin/kafka-topics.sh --delete --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183 --topic test# 關閉kafka[root@worker2 kafka_2.12-1.1.0]$ bin/kafka-server-stop.sh conf/server-1.properties[root@worker2 kafka_2.12-1.1.0]$ bin/kafka-server-stop.sh conf/server-2.properties[root@worker2 kafka_2.12-1.1.0]$ bin/kafka-server-stop.sh conf/server-3.properties# 關閉zookeeper[root@master zookeeper-3.4.11]$ bin/zkServer.sh stop conf/zoo1.cfg[root@worker1 zookeeper-3.4.11]$ bin/zkServer.shstop conf/zoo2.cfg[root@worker2 zookeeper-3.4.11]$ bin/zkServer.shstop conf/zoo3.cfg

相關推薦

kafka+zookeeper偽叢集搭建

(一.zookeeper偽叢集搭建)1.建立3個zoo.cfg(zoo1.cfg,zoo2.cfg,zoo3.cfg)zoo1.cfg 設定:# 資料資料夾dataDir=/usr/local/zook

Zookeeper偽叢集搭建

搭建要求 : 真實的叢集是需要部署在不同的伺服器上的，但是在我們測試時同時啟動十幾個虛擬機器記憶體會吃不消，所以我們通常會搭建偽叢集，也就是把所有的服務都搭建在一臺虛擬機器上，用埠進行區分。 我們這裡要求搭建一個三個節點的Zookeeper叢集（偽叢集）。 在z

Windows下Zookeeper偽叢集搭建

一、下載 下載地址：Apache Zookeeper下載 或(https://mirrors.cnnic.cn/apache/zookeeper/)，下載Zookeeper安裝檔案，字尾為.tar.gz。我下載的檔案是zookeeper-3.4.13.tar.gz。 二、叢集安裝目錄 在

zookeeper 偽叢集搭建

簡介 Zookeeper 是 一個分散式。開放原始碼的分散式應用程式協調服務，是Google Chubby的一個開源實現，大多數的分散式應用都需要Zookeeper的支援，這篇文章先簡單的和大家分享如何搭建一個zookeeper叢集。（筆者注：Chubb

分享知識-快樂自己：zookeeper 偽叢集搭建

1）：單一 zookeeper  搭建步驟 2）：zookeeper 偽叢集搭建 1）：新建一個叢集目錄 [[email protected] opt]# mkdir zookeeper_cluster 2）：進入 zookeeper_cluster 目錄 複製三份

[dubbo實戰] dubbo+zookeeper偽叢集搭建

    zookeeper作為註冊中心，伺服器和客戶端都要訪問，如果有大量的併發，肯定會有等待。所以可以通過zookeeper叢集解決。 一、為什麼需要zookeeper呢？    大部分分散式應用需

單機搭建zookeeper偽叢集

一：簡介 分散式應用程式可以基於Zookeeper實現例如配置管理、資料釋出/訂閱、負載均衡、命名服務、協調通知、叢集管理、Master選舉、分散式鎖、分散式佇列等功能。 https://zookeeper.apache.org/ ###Zookeeper中重要的概念：

Windows環境下搭建ZooKeeper偽叢集

        在生產環境和開發環境ZooKeeper服務的搭建，我們一般常用叢集和單機兩種模式。但是在自己學習過程中，如果想要了解叢集模式的效能，則可以使用偽叢集來了解ZooKeeper叢集模式下的一些工作機制。 1.下載與配置   &

zookeeper windows偽叢集搭建

解壓後，目錄重新命名為zookeeper1，進入 conf目錄，把zoo_sample.cfg 複製一份，重新命名為zoo.cfg 編輯zoo_simple.cfg 配置資料目錄和日誌目錄： 先在zookeeper1目錄下，新建目錄 data、l

【ZooKeeper】單機偽叢集搭建(適用於mac)

1.配置 可以選擇需要的版本，我下載的是zookeeper-3.4.6.tar.gz，解壓得到資料夾zookeeper-3.4.3 由於手頭機器不足，所以在一臺機器上部署了3個server,如果你手頭也比較緊，也可以這麼做。 在主資料夾下建立一個zoo

zookeeper的偽叢集搭建模式

所謂偽叢集就是在單機模擬叢集模式zookeeper的執行。 配置檔案 下面是我配置的偽叢集分佈模式，分別通過zoo1.cfg、zoo2.cfg、zoo3.cfg來模擬三臺機器的zookeeper叢集: zoo1.cfg內容如下: # The numb

Zookeeper偽叢集的搭建

Zookeeper偽叢集的搭建 1.選擇自己需要的版本號進行下載 wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz 注意：Zookeeper是需要依賴

kafka偽叢集搭建

2、解壓軟體 tar -zxvf kafka_2.11-1.1.0.tgz mv kafka_2.11-1.1.0 kafka 下圖為解壓後kafka資料夾內容 3、修改配置檔案 cd /mnt/kafka ll ./config/

Kafka（自帶的zookeeper）叢集搭建詳細步驟

Kafka叢集搭建 1、 Kafka的安裝需要java環境，cent os 7自帶java1.6版本，可以不用重新安裝，直接使用自帶的jdk 即可；如果覺得jdk版本太舊，也可以自己重新安裝； 3、 下載好kafka安裝包後，將其解壓到/usr/local目錄下，刪除壓縮包 4、 目前搭建了三個節點的ka

Linux下偽叢集搭建Kafka

Kafka叢集是把狀態儲存在Zookeeper中的，首先要搭建Zookeeper叢集。由於我們之前的分散式系統中已經安裝zookeeper服務，這裡不進行zookeeper安裝教程以及應用教程圖解 [https://blog.csdn.net/qq_348988

Kafka+Zookeeper+Filebeat+ELK 搭建日誌收集系統

could not arch success div 名稱 fill pil ice oca ELK ELK目前主流的一種日誌系統,過多的就不多介紹了 Filebeat收集日誌,將收集的日誌輸出到kafka,避免網絡問題丟失信息 kafka接收到日誌消息後直接消費到Lo

elasticsearch叢集搭建手冊（偽叢集搭建）

安裝部署 建立程式目錄 安裝目錄 mkdir /usr/local/elasticsearch mkdir /usr/local/elasticsearch/6.4.3 mkdir /usr/local/elasticsearch/6.4.3/01 #第一個節

zookeeper偽分散式搭建

一、描述 偽分散式叢集就是在一臺機器部署多個zk應用，部署之前伺服器需要有jdk環境 java -version可以顯示相關java資訊才可以進行zookeeper搭建 二、步驟 第一步下載好zookeeper-3.4.9.tar.gz 然後解壓tar -zxvf zookeeper-3.4.

hbase（一） 偽叢集搭建

一句話介紹                hbase 高可靠、高效能、可伸縮、分散式 的列式儲存型資料庫。 依賴：         環境 ： Jdk1.8         zookeeper  為hbase分散式儲存協同服務 （偽分散式可暫不安裝，hbase自

CentOS7單機安裝Zookeeper偽叢集

操作環境 CentOS：CentOS-7-x86_64-DVD-1503-01 ZooKeeper：zookeeper-3.4.13.tar.gz 安裝wget命令 yum -y install wget 安裝Java 檢視當前系統是否有Java