RocketMQ叢集部署記錄
RocketMQ叢集部署記錄
#引用 https://cloud.tencent.com/developer/article/1147765一、RocketMQ基礎知識介紹 Apache RocketMQ是阿里開源的一款高效能、高吞吐量、佇列模型的訊息中介軟體的分散式訊息中介軟體。RocketMQ具有以下特點：
上圖是一個典型的訊息中介軟體收發訊息的模型，RocketMQ也是這樣的設計，簡單說來 RocketMQ具有以下特點： 1）是一個佇列模型的訊息中介軟體，具有高效能、高可靠、高實時、分散式特點。 2）Producer、Consumer、佇列都可以分散式。 3）Producer向一些佇列輪流傳送訊息，佇列集合稱為Topic，Consumer如果做廣播消費，則一個consumer例項消費這個Topic對應的所有佇列，如果做叢集消費，則多個Consumer例項平均消費這個topic對應的佇列集合。 4）支援嚴格的訊息順序； 5）提供豐富的訊息拉取模式 6）高效的訂閱者水平擴充套件能力 7）實時的訊息訂閱機制 8）億級訊息堆積能力 9）較少的依賴 10）支援Topic與Queue兩種模式； 11）同時支援Push與Pull方式消費訊息；
訊息佇列的應用場景 1）非同步處理 將不是必須的業務邏輯，進行非同步處理，比如註冊之後簡訊、郵箱的傳送
2）應用解耦 訂單系統：使用者下單後，訂單系統完成持久化處理，將訊息寫入訊息佇列，返回使用者訂單下單成功。 庫存系統：訂閱下單的訊息，採用拉/推的方式，獲取下單資訊，庫存系統根據下單資訊，進行庫存操作。 假如：在下單時庫存系統不能正常使用。也不影響正常下單，因為下單後，訂單系統寫入訊息佇列就不再關心其他的後續操作了。實現訂單系統與庫存系統的應用解耦。
3）流量削鋒，也是訊息佇列中的常用場景，一般在秒殺或團搶活動中使用廣泛。 應用場景：秒殺活動，一般會因為流量過大，導致流量暴增，應用掛掉。為解決這個問題，一般需要在應用前端加入訊息佇列。 a）可以控制活動的人數； b）可以緩解短時間內高流量壓垮應用； c）使用者的請求，伺服器接收後，首先寫入訊息佇列。假如訊息佇列長度超過最大數量，則直接拋棄使用者請求或跳轉到錯誤頁面； d）秒殺業務根據訊息佇列中的請求資訊，再做後續處理。
4）日誌處理
5）訊息通訊 訊息通訊是指，訊息佇列一般都內建了高效的通訊機制，因此也可以用在純的訊息通訊。比如實現點對點訊息佇列，或者聊天室等。
6）效能 RocketMQ單機也可以支援億級的訊息堆積能力。單機寫入TPS單例項約7萬條/秒，單機部署3個Broker，可以跑到最高12萬條/秒，訊息大小10個位元組
RocketMQ 物理部署結構
如上圖所示， RocketMQ的部署結構有以下特點： 1）Name Server 可叢集部署，節點之間無任何資訊同步。 2）Broker(訊息中轉角色，負責儲存訊息，轉發訊息) 部署相對複雜，Broker 分為Master 與Slave，一個Master 可以對應多個Slave，但是一個Slave 只能對應一個Master，Master 與Slave 的對應關係通過指定相同的BrokerName，不同的BrokerId來定 義，BrokerId為0 表示Master，非0 表示Slave。Master 也可以部署多個。每個Broker 與Name。 3）Producer 與Name Server 叢集中的其中一個節點（隨機選擇）建立長連線，定期從Name Server 取Topic 路由資訊，並向提供Topic 服務的Master 建立長連線，且定時向Master 傳送心跳。Producer 完全無狀態，可叢集部署。 4）Consumer 與Name Server 叢集中的其中一個節點（隨機選擇）建立長連線，定期從Name Server 取Topic 路由資訊，並向提供Topic 服務的Master、Slave 建立長連線，且定時向Master、Slave 傳送心跳。Consumer既可以從Master 訂閱訊息，也可以從Slave 訂閱訊息，訂閱規則由Broker 配置決定。
Broker：訊息中轉角色，負責儲存訊息，轉發訊息 Broker叢集有多種配置方式： 1）單Master 優點：除了配置簡單沒什麼優點 缺點：不可靠，該機器重啟或宕機，將導致整個服務不可用 2）多Master 優點：配置簡單，效能最高 缺點：可能會有少量訊息丟失（配置相關），單臺機器重啟或宕機期間，該機器下未被消費的訊息在機器恢復前不可訂閱，影響訊息實時性 3）多Master多Slave，每個Master配一個Slave，有多對Master-Slave，叢集採用非同步複製方式，主備有短暫訊息延遲，毫秒級 優點：效能同多Master幾乎一樣，實時性高，主備間切換對應用透明，不需人工干預 缺點：Master宕機或磁碟損壞時會有少量訊息丟失 4）多Master多Slave，每個Master配一個Slave，有多對Master-Slave，叢集採用同步雙寫方式，主備都寫成功，嚮應用返回成功 優點：服務可用性與資料可用性非常高 缺點：效能比非同步叢集略低，當前版本主宕備不能自動切換為主
Master和Slave的配置檔案參考conf目錄下的配置檔案 Master與Slave通過指定相同的brokerName引數來配對，Master的BrokerId必須是0，Slave的BrokerId必須是大於0的數。 一個Master下面可以掛載多個Slave，同一Master下的多個Slave通過指定不同的BrokerId來區分。
二、RocketMQ叢集部署記錄
部署需求： 準備5臺虛擬機器，其中4臺作為rocektmq broker（雙master 雙slave，同步雙寫，非同步刷盤），另1臺用作rocektmq的console（rocketmq監控平臺）和nameserver。 0）基礎資訊
ip地址 主機名 角色
192.168.10.202 mq-master01 broker-a
192.168.10.203 mq-master02 broker-b 192.168.10.205 mq-slave01 broker-a-s 192.168.10.206 mq-slave02 broker-b-s 192.168.10.207 mq-console-nameserver nameserver、console -------------------------------------------------------------------------- 其實也可以不用那麼多機器，2臺機器也可以，broker-a和broker-b-s在一臺機器（也就是說broker-a的主節點與broker-b的從節點部署在一臺伺服器）， broker-a-s和broker-b在一臺機器。nameserver和console部署到2臺中的任一臺上。 -------------------------------------------------------------------------- 關閉5臺機器的iptables和selinux（所有節點機器上都要操作） [[email protected]-master01 ~]# /etc/init.d/iptables stop [[email protected]-master01 ~]# vim /etc/sysconfig/selinux ...... SELINUX=disabled [[email protected]-master01 ~]# setenforce 0 [[email protected]-master01 ~]# getenforce Permissive 5臺機器都要按照java環境 [[email protected]-master01 ~]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode) -------------------------------------------------------------------------- 5臺機器一定要提前做hosts繫結，否則後續啟動broker的時候，會報錯諸如： java.net.UnknownHostException: mq-master01: mq-master01: Name or service not known [[email protected]-master01 bin]# cat /etc/hosts ...... 192.168.10.202 mq-master01 192.168.10.203 mq-master02 192.168.10.205 mq-slave01 192.168.10.206 mq-slave02 192.168.10.207 mq-console-nameserver
1）rocektmq broker 雙master雙slave部署
1）安裝rocketmq（四臺broker節點機器操作一樣）
下載地址：https://pan.baidu.com/s/16UAXHwzzy0DoGX4u93vK7A 提取密碼：rjib [[email protected]-master01 software]# pwd /data/software [[email protected]-master01 software]# unzip rocketmq3.2.6.zip [[email protected]-master01 software]# ln -s /data/software/alibaba-rocketmq3.2.6 /data/rocketmq 建立儲存路徑 [[email protected]-master01 software]# mkdir -p /data/rocketmq/store [[email protected]-master01 software]# mkdir -p /data/rocketmq/store/commitlog [[email protected]-master01 software]# mkdir -p /data/rocketmq/store/consumequeue [[email protected]-master01 software]# mkdir -p /data/rocketmq/store/index [[email protected]-master01 software]# ls /data/rocketmq/ benchmark bin conf issues lib LICENSE.txt readme.txt store test wiki [[email protected]-master01 software]# ls /data/rocketmq/store/ commitlog consumequeue index --------------------------------------------------------------------------------- 2）配置rocektmq broker （四個節點機器都要操作） mq-master01節點配置/data/rocketmq/conf/2m-2s-sync/broker-a.properties [[email protected]-master01 ~]# vim /data/rocketmq/conf/2m-2s-sync/broker-a.properties #所屬叢集名字 brokerClusterName=rocketmq-cluster #broker名字，注意此處不同的配置檔案填寫的不一樣 例如：在a.properties 檔案中寫 broker-a 在b.properties 檔案中寫 broker-b brokerName=broker-a #0 表示 Master，>0 表示 Slave brokerId=0 #nameServer地址，這裡nameserver是單臺，如果nameserver是多臺叢集的話，就用分號分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3） namesrvAddr=192.168.10.207:9876; #在傳送訊息時，自動建立伺服器不存在的topic，預設建立的佇列數 defaultTopicQueueNums=4 #是否允許 Broker 自動建立Topic，建議線下開啟，線上關閉 autoCreateTopicEnable=true #是否允許 Broker 自動建立訂閱組，建議線下開啟，線上關閉 autoCreateSubscriptionGroup=true #Broker 對外服務的監聽埠 listenPort=10911 #刪除檔案時間點，預設凌晨 4點 deleteWhen=04 #檔案保留時間，預設 48 小時 fileReservedTime=120 #commitLog每個檔案的大小預設1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每個檔案預設存30W條，根據業務情況調整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #檢測物理檔案磁碟空間 diskMaxUsedSpaceRatio=88 #儲存路徑 storePathRootDir=/data/software/rocketmq/store #commitLog 儲存路徑 storePathCommitLog=/data/software/rocketmq/store/commitlog #消費佇列儲存路徑儲存路徑 storePathConsumeQueue=/data/software/rocketmq/store/consumequeue #訊息索引儲存路徑 storePathIndex=/data/software/rocketmq/store/index #checkpoint 檔案儲存路徑 storeCheckpoint=/data/software/rocketmq/store/checkpoint #abort 檔案儲存路徑 abortFile=/data/software/rocketmq/store/abort #限制的訊息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 非同步複製Master #- SYNC_MASTER 同步雙寫Master #- SLAVE brokerRole=MASTER #要配置為MASTER或SLAVE的角色 #刷盤方式 #- ASYNC_FLUSH 非同步刷盤 #- SYNC_FLUSH 同步刷盤 flushDiskType=SYNC_FLUSH #checkTransactionMessageEnable=