2. 程式人生 > >rabbitmq叢集部署及配置

rabbitmq叢集部署及配置

阿新 • • 發佈：2019-01-06

訊息中介軟體rabbitmq，一般以叢集方式部署，主要提供訊息的接受和傳送，實現各微服務之間的訊息非同步。本篇將以rabbitmq+HA方式進行部署。

一、原理介紹

rabbitmq是依據erlang的分散式特性（RabbitMQ底層是通過Erlang架構來實現的，所以rabbitmqctl會啟動Erlang節點，並基於Erlang節點來使用Erlang系統連線RabbitMQ節點，在連線過程中需要正確的Erlang Cookie和節點名稱，Erlang節點通過交換Erlang Cookie以獲得認證）來實現的，所以部署rabbitmq分散式叢集時要先安裝erlang，並把其中一個服務的cookie複製到另外的節點。

rabbitmq叢集中，各個rabbitmq為對等節點，即每個節點均提供給客戶端連線，進行訊息的接收和傳送。節點分為記憶體節點和磁碟節點，一般的，均應建立為磁碟節點，為了防止機器重啟後的訊息消失；

RabbitMQ的Cluster叢集模式一般分為兩種，普通模式和映象模式。訊息佇列通過rabbitmq HA映象佇列進行訊息佇列實體複製。

普通模式下，以兩個節點（rabbit01、rabbit02）為例來進行說明。對於Queue來說，訊息實體只存在於其中一個節點rabbit01（或者rabbit02），rabbit01和rabbit02兩個節點僅有相同的元資料，即佇列的結構。當訊息進入rabbit01節點的Queue後，consumer從rabbit02節點消費時，RabbitMQ會臨時在rabbit01、rabbit02間進行訊息傳輸，把A中的訊息實體取出並經過B傳送給consumer。所以consumer應儘量連線每一個節點，從中取訊息。即對於同一個邏輯佇列，要在多個節點建立物理Queue。否則無論consumer連rabbit01或rabbit02，出口總在rabbit01，會產生瓶頸。

映象模式下，將需要消費的佇列變為映象佇列，存在於多個節點，這樣就可以實現RabbitMQ的HA高可用性。作用就是訊息實體會主動在映象節點之間實現同步，而不是像普通模式那樣，在consumer消費資料時臨時讀取。缺點就是，叢集內部的同步通訊會佔用大量的網路頻寬。

二、部署方案

本方案中是在多臺機器之間部署rabbitmq的cluster，要求如下：這幾個節點需要再同一個區域網內；這幾個節點需要有相同的erlang cookie，否則不能正常通訊，為了實現cookie內容一致，採用scp的方式進行。

1、環境介紹

rabbitmq01 192.168.101.11  

rabbitmq02 192.168.101.12 

rabbitmq03 192.168.101.13

作業系統：centos6.7

2、部署過程

（1）分別在3臺機器上配置/etc/hosts，如下

node1 192.168.101.11  

node2 192.168.101.12 

node3 192.168.101.13

（2）分別在3臺機器上安裝erLang和rabbitmq

安裝erlang

安裝依賴包

yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
編譯安裝 
tar -zxvf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/bin/erlang --without-javac
make && make install
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile
出現erl命令則說明安裝成功；

安裝rabbitmq

編譯安裝

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-generic-unix-3.6.5.tar.xz
yum install -y xz
xz -d rabbitmq-server-3.6.3.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.5.tar -C /usr/local/bin/
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile
匯入rabbitmq的管理介面 
rabbitmq-plugins enable rabbitmq_management
設定erlang

找到erlang cookie檔案的位置，官方在介紹叢集的文件中提到過.erlang.cookie一般會存在這兩個地址：第一個是$home/.erlang.cookie；第二個地方就是/var/lib/rabbitmq/.erlang.cookie。如果我們使用解壓縮方式安裝部署的rabbitmq，那麼這個檔案會在${home}目錄下，也就是$home/.erlang.cookie。如果我們使用rpm等安裝包方式進行安裝的，那麼這個檔案會在/var/lib/rabbitmq目錄下。

這裡將 node1 的該檔案複製到 node2、node3，注意這個檔案的許可權是 400（預設即是400），因此採用scp的方式只拷貝內容即可；

可以通過cat  $home/.erlang.cookie來檢視三臺機器的cookie是否一致，設定erlang的目的是要保證叢集內的cookie內容一致。

使用-detached引數執行各節點

rabbitmqctl stop
rabbitmq-server -detached

然後可以通過rabbitmqctl cluster_status檢視節點狀態。PS：要先拷貝cookie到另外兩臺機器上，保證三臺機器上的cookie是一致的，然後再啟動服務。

由於guest這個使用者,只能在本地訪問,所以我們要新增一個使用者並賦予許可權:

新增使用者並設定密碼:

rabbitmqctl add_user  admin 123456
新增許可權（使admin使用者對虛擬主機“/” 具有所有許可權）:
rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
修改使用者角色（加入administrator使用者組）
rabbitmqctl set_user_tags admin administrator

然後就可以遠端訪問了，然後可直接配置使用者許可權等資訊。到此,就可以通過http://ip:15672 使用admin 123456 進行登陸了。

到這裡的話，每個節點是作為單獨的一臺RabbitMQ存在的，也可以正常提供服務了

（3）組成叢集

rabbitmq-server啟動時，會一起啟動節點和應用，它預先設定RabbitMQ應用為standalone模式。要將一個節點加入到現有的叢集中，你需要停止這個應用，並將節點設定為原始狀態。如果使用./rabbitmqctl stop，應用和節點都將被關閉。所以使用rabbitmqctl stop_app僅僅關閉應用。

將 node2、node3與 node1 組成叢集，這裡以node2為例

node2# rabbitmqctl stop_app     

node2# rabbitmqctl join_cluster [email protected]               ####這裡叢集的名字一定不要寫錯了

node2# rabbitmqctl start_app

將node3重複上述操作，也加入node1的叢集。

則此時 node2 與 node3 也會自動建立連線，叢集配置完畢；（PS：如果要使用記憶體節點，則可以使用node2 # rabbitmqctl join_cluster --ram [email protected]加入叢集）叢集配置好後，可以在 RabbitMQ 任意節點上執行 rabbitmqctl cluster_status 來檢視是否叢集配置成功。

node3# rabbitmqctl cluster_status

Cluster status of node [email protected] ...
[{nodes,[{disc,[[email protected],[email protected],[email protected]]}]},
 {running_nodes,[[email protected],[email protected],[email protected]]},
 {cluster_name,<<"[email protected]">>},
 {partitions,[]},
 {alarms,[{[email protected],[]},{[email protected],[]},{[email protected],[]}]}]
可知，叢集的名稱預設為[email protected]；

PS：另外一種檢視叢集是否成功的方式，在web頁面上的“Queues”的列表中，檢視有如下顯示為“同步映象到node2”，則也表示叢集配置成功


（4）設定映象佇列策略

在任意一個節點上執行如下操作（這裡在node1上執行）

首先，在web介面，登陸後，點選“Admin--Virtual Hosts（頁面右側）”，在開啟的頁面上的下方的“Add a new virtual host”處增加一個虛擬主機，同時給使用者“admin”和“guest”均加上許可權（在頁面直接設定、點點點即可）；

然後，在linux中執行如下命令

rabbitmqctl set_policy -p coresystem  ha-all "^" '{"ha-mode":"all"}'

"coresystem" vhost名稱， "^"匹配所有的佇列， ha-all 策略名稱為ha-all, '{"ha-mode":"all"}' 策略模式為 all 即複製到所有節點，包含新增節點。

則此時映象佇列設定成功。（這裡的虛擬主機coresystem是程式碼中需要用到的虛擬主機，虛擬主機的作用是做一個訊息的隔離，本質上可認為是一個rabbitmq-server，是否增加虛擬主機，增加幾個，這是由開發中的業務決定，即有哪幾類服務，哪些服務用哪一個虛擬主機，這是一個規劃）。

--------------------------------------------#########################--------------------------------------------------------------------------------------------------

PS：這裡補充一些對於設定映象佇列策略的說明

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition [Priority]

-p Vhost： 可選引數，針對指定vhost下的queue進行設定
Name: policy的名稱
Pattern: queue的匹配模式(正則表示式)
Definition：映象定義，包括三個部分ha-mode, ha-params, ha-sync-mode
    ha-mode:指明映象佇列的模式，有效值為 all/exactly/nodes
        all：表示在叢集中所有的節點上進行映象
        exactly：表示在指定個數的節點上進行映象，節點的個數由ha-params指定
        nodes：表示在指定的節點上進行映象，節點名稱通過ha-params指定
    ha-params：ha-mode模式需要用到的引數
    ha-sync-mode：進行佇列中訊息的同步方式，有效值為automatic和manual
priority：可選引數，policy的優先順序
------------------------------------------------########################-----------------------------------------------------------------------------------------------------

將所有佇列設定為映象佇列，即佇列會被複制到各個節點，各個節點狀態保持一直。完成這 6 個步驟後，RabbitMQ 高可用叢集就已經搭建好了，最後一個步驟就是搭建均衡器。

（5）安裝並配置HA

PS：可以使用阿里雲的內網slb來實現負載均衡，不用自己搭建HA。這裡僅演示如下：

在192.168.101.11上yum安裝HAProxy（yum -y install HAProxy），然後修改 /etc/haproxy/haproxy.cfg：

global 
    
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    stats socket /var/lib/haproxy/stats

defaults 
       log        global 
       mode       tcp 
       option     tcplog 
       option     dontlognull 
       retries    3 
       option redispatch 
       maxconn 2000 
       contimeout      5s 
       clitimeout      120s 
       srvtimeout      120s 

listen rabbitmq_cluster 192.168.101.11:5670
       mode      tcp 
       balance roundrobin 
       server rabbit1  192.168.101.11:5672 check inter 5000 rise 2 fall 2 
       server rabbit2  192.168.101.12:5672 check inter 5000 rise 2 fall 2        
       server rabbit3  192.168.101.13:5672 check inter 5000 rise 2 fall 2
listen private_monitoring :8100 mode http option httplog stats enable stats uri /rabbitmqstats stats refresh 5s 重啟HAProxy 
service haproxy restart

登入瀏覽器輸入地址http://192.168.101.11:8100/rabbitmqstats檢視HAProxy的狀態

三、常見問題

常見錯誤：

1、使用 rabbitmq-server -detached命令啟動rabbitmq時，出現以下提示Warning: PID file not written; -detached was passed，此時使用rabbitmqctl status提示服務已啟動，可知此問題不用解決。

2、由於更改hostname檔案，在每次rabbitmqctl stop或者rabbitmqctl cluster_status等，只要是rabbitmq的命令就報錯，提示大概如下

Cluster status of node [email protected] ...
Error: unable to connect to node [email protected]: nodedown

DIAGNOSTICS
===========

attempted to contact: [[email protected]]

[email protected]:
  * connected to epmd (port 4369) on web2
  * epmd reports node 'rabbit' running on port 25672
  * TCP connection succeeded but Erlang distribution failed

  * Hostname mismatch: node "[email protected]" believes its host is different. Please ensure that hostnames resolve the same way locally and on "[email protected]"


current node details:
- node name: '[email protected]'
- home dir: /root
- cookie hash: SGwxMdJ3PjEXG1asIEFpBg==

此時先ps aux | grep mq，然後kill -9 該程序，然後再rabbitmq-server -detached即可解決。（即先強殺，再重新啟動）

3、使用rabbitmqctl stop，rabbitmq-server -detached重新啟動後，原先新增的使用者admin、虛擬主機coresystem等均丟失，還需要重新新增。

採用指令碼啟動，在指令碼中寫好啟動好需要載入的各配置項（建立admin使用者並授權，建立虛擬主機並授權，配置映象佇列）。

3、命令

rabbitmqctl stop_app 僅關閉應用，不關閉節點
rabbitmqctl start_app 開啟應用
rabbitmq--server -detached 啟動節點和應用
rabbitmqctl 關閉節點和應用

4、常用命令：

Rabbitmq伺服器的主要通過rabbitmqctl和rabbimq-plugins兩個工具來管理，以下是一些常用功能。

1）. 伺服器啟動與關閉

  啟動: rabbitmq-server –detached
  關閉:rabbitmqctl stop
  若單機有多個例項，則在rabbitmqctlh後加–n 指定名稱

2）. 外掛管理

  開啟某個外掛：rabbitmq-plugins enable  xxx
  關閉某個外掛：rabbitmq-plugins disable xxx
  注意：重啟伺服器後生效。

3）.virtual_host管理

  新建virtual_host: rabbitmqctl add_vhost  xxx
  撤銷virtual_host:rabbitmqctl  delete_vhost xxx

4）. 使用者管理

  新建使用者：rabbitmqctl add_user xxxpwd
  刪除使用者: rabbitmqctl delete_user xxx
  檢視使用者：rabbitmqctl list_users
 改密碼: rabbimqctlchange_password {username} {newpassword}
  設定使用者角色：rabbitmqctlset_user_tags {username} {tag ...}
          Tag可以為 administrator,monitoring, management

5）. 許可權管理

  許可權設定：set_permissions [-pvhostpath] {user} {conf} {write} {read}
           Vhostpath
           Vhost路徑
           user
  使用者名稱
          Conf
  一個正則表示式match哪些配置資源能夠被該使用者訪問。
          Write
  一個正則表示式match哪些配置資源能夠被該使用者讀。
           Read
  一個正則表示式match哪些配置資源能夠被該使用者訪問。

6）. 獲取伺服器狀態資訊

  伺服器狀態：rabbitmqctl status     ##其中可檢視rabbitmq的版本資訊

7）.獲取叢集狀態資訊

rabbitmqctl cluster_status

相關推薦

rabbitmq叢集部署及配置

訊息中介軟體rabbitmq，一般以叢集方式部署，主要提供訊息的接受和傳送，實現各微服務之間的訊息非同步。本篇將以rabbitmq+HA方式進行部署。 一、原理介紹 rabbitmq是依據erlang的分散式特性（RabbitMQ底層是通過Erlang架構來實現的，所以ra

RabbitMQ高可用叢集部署及配置+HAproxy負載（原始碼）

1.環境 rabbitmq-1 10.24.43.4 centos6.x rabbitmq-2 10.24.43.5 centos6.x 2.

全網最詳細的Ceph14.2.5叢集部署及配置檔案詳解，快來看看吧！ -- <2>

部署Ceph叢集 Ceph版本選擇 Ceph版本來源介紹 Ceph 社群最新版本是 14，而 Ceph 12 是市面用的最廣的穩定版本。 第一個 Ceph 版本是 0.1 ，要回溯到 2008 年 1 月。多年來，版本號方案一直沒變，直到 2015 年 4 月 0.94.1 （ Hammer 的第一個修正版）

rabbitmq集群部署及配置

要求 yum安裝 == 用戶組 [] 添加 針對 ODB epmd 消息中間件rabbitmq，一般以集群方式部署，主要提供消息的接受和發送，實現各微服務之間的消息異步。本篇將以rabbitmq+HA方式進行部署。 一、原理介紹 rabbitmq是依據erlang的分布

web緩存服務器varnish-4.1.6的部署及配置詳解

是否 次數 tool 至少 hits 檢查 rep nat list web緩存服務器varnish-4.1.6的部署及配置詳解 1.安裝varnish4.1.6安裝依賴 yum install -y autoconf automake jemalloc-devel li

Exchange2010高可用部署及配置

Exchange2010高可用部署及配置一般企業用戶比較註重以下三個角色的高可用（容錯）方案。對於UM（統一消息）角色和邊緣傳輸角色一般不做容錯。A：Mailbox（郵箱角色）---DAGB:HUB（集線器傳輸角色）---NBLC:CAS（客戶端訪問角色）---CAS Array Exchange DAG部署

Tomcat安裝應用部署及配置文件解讀

基於 ctp 創建 webapp 查詢 request cto 配置 權限 Tomcat服務器是一個免費的開放源代碼的Web應用服務器，屬於輕量級應用服務器，在中小型系統和並發訪問用戶不是很多的場合下被普遍使用，是開發和調試JSP程序的首選。 Tomcat和Nginx，AP

002. Ansible部署及配置介紹

error lba title rod 傳輸 lse val 12c mon 一 Ansible的安裝部署1.1 PIP方式安裝PIP略，可參考《001.Pip簡介及使用》。提示：建議將PIP升級到最新：pip install --upgrade pip。安裝依賴 1 [

Spark2.2叢集部署和配置(CentOS)

說明 1、Spark版本：2.2.0 2、Spark下載的地址：http://spark.apache.org/downloads.html 3、Spark下載的型別：原始碼、編譯後的軟體包等 4、Spark依賴的軟體/軟體包： Linux（Centos 6.5） Java（1.8+）

JAVA(JDK)在linux環境下部署及配置環境變數

1.首先在網上下載一個jdk的壓縮檔案，以gz為結尾的 2.開啟機器。cd /usr/local 到這個目錄下，rz上傳檔案 3.等待檔案上傳好後，ll檢視一下，然後建立一個資料夾mkdir -p /usr/java。之後把jdk檔案移動到java目錄下。mv

Centos7-rabbitmq叢集部署

一、對應主機host地址(每臺主機host檔案要保持一致)(每臺都操作) 172.16.2.61 rabbitmq01 172.16.2.62 rabbitmq02 二、每臺都安裝rabbitmq-server(注意：要先裝epel-release擴充套件源)(每臺都操作)

ingress-nginx部署及配置https

1、Ingress 在Kubernetes中，服務和Pod的IP地址僅可以在叢集網路內部使用，對於叢集外的應用是不可見的。為了使外部的應用能夠訪問叢集內的服務，在Kubernetes中可以通過NodePort和LoadBalancer這兩種型別的服務，或者使用Ingress

使用Mycat叢集部署及Haproxy負載均衡

目的 外界將讀寫請求發給Haproxy，Haproxy將請求分發給mycat可用節點，mycat伺服器再根據讀或寫向mysql伺服器進行資料操作。 前提 在之前mycat代理mysql讀寫分離的基礎上進行配置 haproxy 119.23.237.241  mycat_

[Kafka] Apache Kafka 簡介、叢集搭建及配置詳解

前言 kafka是一種高吞吐量的分散式釋出訂閱訊息系統，它可以處理消費者規模的網站中的所有動作流資料。這種動作（網頁瀏覽，搜尋和其他使用者的行動）是在現代網路上的許多社會功能的一個關鍵因素。這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 Kafk

Hadoop2.7.1 叢集部署及自動化指令碼

                     實驗環境作業系統：ubuntu 14.04 64位                    主機名IPnamenode10.107.12.10datanode110.107.12.20datanode210.107.12.50datanode310.107.12.60j

Zookeeper叢集部署與配置（三）

在上一篇部落格中我們講解了《Zookeeper的單機配置》，此篇部落格將繼續介紹Zookeeper的叢集部署與配置。 環境 叢集配置的環境與單機配置的環境相同，唯一不同的就是叢集是在多臺伺服器之間配置，當然也有偽叢集的配置，也就是在同一臺機器上配置多臺服

Redis-Cluster叢集搭建及配置

前言 在上一篇文章中隊redis進行了簡單的介紹和安裝,在這一篇文章中進行一個redis-Cluster的叢集搭建。 Redis-Cluster介紹 redis-cluster架構設計 架構細節: (1)所有的redis節點彼此互聯(PIN

Hadoop虛擬機器叢集搭建及配置詳解

配置步驟 1.新建Linux虛擬機器 2.安裝jdk，獲得root許可權 3.安裝成功後複製兩個虛擬機器，分別分別命名master、slave1、slave2 4.將三個虛擬機器相互連通，配置SSH無金鑰登入 5.在master中配置Hadoop環境，配置

Kafka叢集部署及命令列操作

1、叢集規劃 hadoop102                                 hadoop103                          hadoop104 zk                                      

storm叢集部署和配置過程詳解

  先整體介紹一下搭建storm叢集的步驟： 設定zookeeper叢集安裝依賴到所有nimbus和worker節點下載並解壓storm釋出版本到所有nimbus和worker節點配置storm.yaml啟動相關後臺程序 1 首先配置zookeeper叢集      我