2. 程式人生 > >RocketMQ學習筆記（16）----RocketMQ搭建雙主雙從（非同步複製）叢集

RocketMQ學習筆記（16）----RocketMQ搭建雙主雙從（非同步複製）叢集

阿新 • • 發佈：2018-11-15

1. 修改RocketMQ預設啟動埠

　　由於只有兩臺機器，部署雙主雙從需要四個節點，所以只能修改rocketmq的預設啟動埠，從官網下載rocketmq的source檔案，解壓後使用idea開啟，全域性搜尋9876，將所有使用9876埠的地方改為9877。

　　在終端開啟，使用：mvn -Prelease-all -DskipTests clean install命令打包，打包完成後在專案的distribution\target將會有如下兩個包：

　　

　　分別是linux和win下執行的包。

　　將字尾為.tar.gz的包上傳到伺服器上。並使用tar -zxvf 檔名解壓

2. 建立資料儲存資料夾

　　在解壓後的資料夾中新建資料儲存資料夾

mkdir /usr/local/middle/rocketmq-9877/data
#commitLog 儲存路徑
mkdir /usr/local/middle/rocketmq-9877/data/commitlog
#消費佇列儲存路徑儲存路徑
mkdir /usr/local/middle/rocketmq-9877/data/consumequeue
#訊息索引儲存路徑
mkdir /usr/local/middle/rocketmq-9877/data/index

　　兩臺伺服器上都要上傳包和在新傳的包解壓收的資料夾下都要新建資料夾。這裡算上樓主之前上傳的預設埠的rocketmq節點，每臺已經有兩個節點了。兩臺機器剛好可以做四個節點，雙主雙從。

3. 修改log檔案

　　跟雙master時操作一樣，就不再詳述，文章最後會放搭建雙Master叢集步驟的連結。

4. 修改配置檔案

　　分別進入兩臺機器的rocketmq目錄下的conf/2m-2s-sync/下，共有四個檔案：

　　

　　分別做如下配置

　　broker-a.properties

#所屬叢集名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-a
#0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr
 
=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877;
#在發訊息時，自動建立伺服器不存在的topic,預設建立的佇列數
defaultTopicQueueNums=4
#是否允許Broker自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許Broker自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10911
#刪除檔案時間點，預設凌晨4點
deleteWhen=04
#檔案保留時間，預設48小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/middle/rocketmq/data
#commitLog儲存路徑
storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog
#消費佇列儲存路徑
storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/middle/rocketmq/data/index
#checkpoint 檔案儲存路徑
storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/middle/rocketmq/data/abort
#限制的訊息大小
maxMessageSize=65536
 
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
 
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
 
#刷盤方式
#- ASYNC_FLUSH  非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
 
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量

　　broker-a-s.properties

#所屬叢集名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-a
#0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877;
#在發訊息時，自動建立伺服器不存在的topic,預設建立的佇列數
defaultTopicQueueNums=4
#是否允許Broker自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許Broker自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10915
#刪除檔案時間點，預設凌晨4點
deleteWhen=04
#檔案保留時間，預設48小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/middle/rocketmq/data
#commitLog儲存路徑
storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog
#消費佇列儲存路徑
storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/middle/rocketmq/data/index
#checkpoint 檔案儲存路徑
storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/middle/rocketmq/data/abort
#限制的訊息大小
maxMessageSize=65536
 
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
 
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
 
#刷盤方式
#- ASYNC_FLUSH  非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
 
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

　　broker-b.properties

#所屬叢集名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-b
#0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877;
#在發訊息時，自動建立伺服器不存在的topic,預設建立的佇列數
defaultTopicQueueNums=4
#是否允許Broker自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許Broker自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10911
#刪除檔案時間點，預設凌晨4點
deleteWhen=04
#檔案保留時間，預設48小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/middle/rocketmq/data
#commitLog儲存路徑
storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog
#消費佇列儲存路徑
storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/middle/rocketmq/data/index
#checkpoint 檔案儲存路徑
storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/middle/rocketmq/data/abort
#限制的訊息大小
maxMessageSize=65536
 
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
 
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SYNC_MASTER
 
#刷盤方式
#- ASYNC_FLUSH  非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
 
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量

　　broker-b-s.properties

#所屬叢集名字
borkerClusterName=rocketmq-cluster
#broker名字，注意此處不同的配置檔案填寫的不一樣
brokerName=broker-b
#0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver1:9877;rocketmq-nameserver2:9877;
#在發訊息時，自動建立伺服器不存在的topic,預設建立的佇列數
defaultTopicQueueNums=4
#是否允許Broker自動建立Topic，建議線下開啟，線上關閉
autoCreateTopicEnable=true
#是否允許Broker自動建立訂閱組，建議線下開啟，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽埠
listenPort=10910
#刪除檔案時間點，預設凌晨4點
deleteWhen=04
#檔案保留時間，預設48小時
fileReservedTime=120
#commitLog每個檔案的大小預設1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每個檔案預設存30W條，根據業務情況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理檔案磁碟空間
diskMaxUsedSpaceRatio=88
#儲存路徑
storePathRootDir=/usr/local/middle/rocketmq/data
#commitLog儲存路徑
storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog
#消費佇列儲存路徑
storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue
#訊息索引儲存路徑
storePathIndex=/usr/local/middle/rocketmq/data/index
#checkpoint 檔案儲存路徑
storeCheckPoint=/usr/local/middle/rocketmq/data/checkpoint
#abort 檔案儲存路徑
abortFile=/usr/local/middle/rocketmq/data/abort
#限制的訊息大小
maxMessageSize=65536
 
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
 
#Broker 的角色
#- ASYNC_MASTER 非同步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=SLAVE
 
#刷盤方式
#- ASYNC_FLUSH  非同步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
 
#checkTransactionMessageEnable=false
#發訊息執行緒池數量
#sendMessageThreadPoolNums=128
#拉訊息執行緒池數量
#pullMessageThreadPoolNums=128

　　配置檔案中的各個資料儲存目錄根據自己路徑情況自行修改。

5. 修改日誌檔案

　　參照雙Master.

6. 修改後傳入的節點的JVM啟動引數

　　參照雙Master；

7. 啟動NameServer和Broker

　　參照雙Master

四個節點都啟動完成後，啟動控制檯，可以看到

　　表明四個節點的Broker已經啟動成功，且一個Master對應一個Slave,且當向Broker傳送訊息時，主從節點直接訊息一致。

　　此時我們先向叢集傳送訊息（不消費），然後停掉一臺主節點。

　　啟動Consumer，訊息仍然可以完全消費，剛好驗證了從節點在叢集中的作用，保證Master掛掉時訊息不會丟失。

　　雙Maste叢集隨筆傳送門：RocketMQ學習筆記（4）----RocketMQ搭建雙Master叢集

 注意：

　　broker啟動後會佔用三個埠：

　　伺服器監聽埠（預設10911）

　　高可用埠（監聽slave的請求），端口占用為伺服器監聽埠+1

　　快速伺服器埠（VIP服務埠，也就是說客戶端可以選擇使用伺服器監聽埠或者這個埠通訊，一般建議是設定VIP渠道為false的，即使用伺服器監聽埠通訊【不設定就是10911這個埠】），這個埠的值為伺服器監聽埠-2，
　　所以在配置broker.properties時不要佔用到預設埠計算之後會佔用的埠，如果你啟動多主多從，也要注意自己配置的埠情況。當然如果一臺機器上只有一個節點，那麼可以不用在意這個問題。

相關推薦

RocketMQ初探(五)之RocketMQ4.2.6叢集部署（單Master+雙Master+2m+2s+async非同步複製）

原文地址：https://www.cnblogs.com/buyige/p/9454634.html   　　以下部署方式結合眾多博友的部落格，經過自己一步一步實際搭建，如有雷同，侵權行為，請見諒。。。其中遇到不少的坑，希望能幫到更多的人，現在很少能找到一份完整版4.2.6版本的搭

rocketmq學習筆記 五 原始碼之rocketmq-broker

/** * Copyright (C) 2010-2013 Alibaba Group Holding Limited * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this

rocketmq學習筆記 五 原始碼之rocketmq-store

因為broker東西比較多，所以放到最後。今天來學習下 rocketmq-store 核心流程 問題 1.看看訊息如何做的持久化 2.看看如何做的主從同步 config 儲存的配置資訊 public enum BrokerRole { ASYNC_MASTE

Redis 搭建一主二從三哨兵高可用叢集

1、單個redis服務搭建請參考：redis服務搭建 2、在/usr/local下建立目錄redis-cluster,並在redis-cluster下建立 6379、6380、6381三個目錄,每個目錄下,建立 data、temp 目錄 # cd /usr/local # mkdir redis-

RocketMQ學習筆記（16）----RocketMQ搭建雙主雙從（非同步複製）叢集

1. 修改RocketMQ預設啟動埠 　　由於只有兩臺機器，部署雙主雙從需要四個節點，所以只能修改rocketmq的預設啟動埠，從官網下載rocketmq的source檔案，解壓後使用idea開啟，全域性搜尋9876，將所有使用9876埠的地方改為9877。 　　在終端開啟，使用：mvn -Preleas

RocketMQ學習筆記（4）----RocketMQ搭建雙Master叢集

前面已經學習了RockeMQ的四種叢集方式，接下來就來搭建一個雙Master(2m)的叢集環境。 1. 雙Master伺服器環境 序號　　　　ip　　　　　　使用者名稱　　　　密碼　　　　　　　　角色　　　　　　　　　　　　模式 (1)　　　47.105.145.123　　root　　　　　　　　　　n

RocketMQ學習筆記（5）----RocketMQ監控平臺rocketmq-console-ng的搭建

1. 下載rocketmq-console-ng 　　官網地址：https://github.com/apache/rocketmq-externals 　　 　　拉下來之後，使用idea開啟rocketmq-console，在application.properties配置檔案中修改rocketmq.

RocketMQ學習筆記（1）----RocketMQ的簡介

1. 什麼是RecketMQ？ 　　 　　 　　是一個佇列模型的訊息中介軟體，具有高效能、高可靠、高實時、分散式特點。　　Producer、Consumer、佇列都可以分散式。　　 Producer 吐一些佇列輪流収送訊息，佇列集合稱為Topic，Consumer 如果做廣播消費，則一個con

RocketMQ學習筆記（14）----RocketMQ的去重策略

1. Exactly Only Once 　　(1). 傳送訊息階段，不允許傳送重複的訊息 　　(2). 消費訊息階段，不允許消費重複的訊息。 　　只有以上兩個條件都滿足情況下，才能認為訊息是“Exactly Only Once”，而要實現以上兩點，在分散式系統環 　　境下，不可避免要產生巨大的開銷。

RocketMQ學習筆記（一）eclipse版的quickstart

學而時習之，不亦說乎！ 自己搭建個學習用的RocketMQ總是很麻煩，需要虛擬機器環境，網路，需要安裝rocketmq，啟動。時間久了再去看，又不知道這個虛擬機器是幹嘛的了。 直接在eclipse中啟動，簡單省事，用的時候啟動，用完關掉就行了。 先看下圖，給還沒開始的你一點信心。  

Solr學習筆記一 ---Solr執行環境搭建（tomcat7 + solr 3.5 +ubuntu 10.04）

一、軟體下載 二、軟體安裝   1、安裝Tomcat7, 解壓apache-tomcat-7.0.26.tar.gz，增加環境變數      export $CATALINA_HOME=apache-tomcat-7.0.26    export $CATALINA_B

Java學習筆記——淺談數據結構與Java集合框架（第一篇、List）

技術分享 emp 鏈表 adc 下標 -c nod nal integer 橫看成嶺側成峰，遠近高低各不同。不識廬山真面目，只緣身在此山中。 　　　　　　　　　　　　　　——蘇軾 這一塊兒學的是雲裏霧裏，咱們先從簡單的入手。逐漸的撥開迷霧見太陽。本次先做List集合的三

HTML學習筆記 css定位浮動及瀑布流 第十三節 （原創）

oct adding styles gin ima alt eight div height <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8">

HTML學習筆記 基礎標簽及css引用案例 第一節 （原創）參考使用表

set utf har del 文件 定義 .com eight head <!DOCTYPE html><!--頭文件 不是標簽 也沒有結束，這是聲明該文件為HTML5--><html lang="en"><!--表示網頁文字以什

JAVAscript學習筆記 js句柄監聽事件 第四節 （原創） 參考js使用表

必須 htm -c eve property blog uncaught event add <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8">

Ubuntu 16.04下搭建基於攜程Apollo（阿波羅）配置中心單機模式

settings cal tro script fig setting col 文件夾 .gz 官網：https://github.com/ctripcorp/apollo Wiki：https://github.com/ctripcorp/apollo/wiki Is

Python學習筆記015——文件file的常規操作之二（二進制文件）

cde enc blog 模式 1byte 二進制文件 整數 style rst 1 字節(byte)的單位 1KB = 2*10 Bytes 1MB = 1KB * 1024 = 2**20 Bytes 1GB = 1KB * 1K * 1K = 2**30 Bytes

Introduction to 3D Game Programming with DirectX 12 學習筆記之 --- 第七章：在Direct3D中繪製（二）

程式碼工程地址： https://github.com/jiabaodan/Direct12BookReadingNotes 學習目標 理解本章中針對命令佇列的更新（不再需要每幀都flush命令佇列），提高效能； 理解其他兩種型別的根訊號引數型別：根描述

【迅為iTop4412學習筆記】2. make menuconfig即Kconfig的仿寫（簡單說說，但是很重要）

在寫第5篇的註冊驅動的時候，發現還是要寫一下這裡，這裡其實就圍繞了Kconfig展開 make menuconfig 是圖形化配置介面，Kconfig是真正背後修改的檔案。 看一下linux的結構會發現，目錄裡有個Kconfig，而它包含了子目錄下的Kconfig，子目錄的Kco

Aras學習筆記 (23) GDPR《通用資料保護規範》解釋（轉）

所有收集歐盟（EU）國家公民資料的企業，將必須在明年正式執行有關使用者資料保護的嚴格新規——《通用資料保護規範》（GDPR）。GDPR的目標是保護歐盟公民免受隱私和資料洩露的影響，同時重塑歐盟的組織機構處理隱私和資料保護的方式。 2018年5月25日，GDPR將正式生效，並取代當前的資料保護指令（DPD）。