消息中間件rabbitmq，一般以集群方式部署，主要提供消息的接受和發送，實現各微服務之間的消息異步。本篇將以rabbitmq+HA方式進行部署。

一、原理介紹

rabbitmq是依據erlang的分布式特性（RabbitMQ底層是通過Erlang架構來實現的，所以rabbitmqctl會啟動Erlang節點，並基於Erlang節點來使用Erlang系統連接RabbitMQ節點，在連接過程中需要正確的Erlang Cookie和節點名稱，Erlang節點通過交換Erlang Cookie以獲得認證）來實現的，所以部署rabbitmq分布式集群時要先安裝erlang，並把其中一個服務的cookie復制到另外的節點。

rabbitmq集群中，各個rabbitmq為對等節點，即每個節點均提供給客戶端連接，進行消息的接收和發送。節點分為內存節點和磁盤節點，一般的，均應建立為磁盤節點，為了防止機器重啟後的消息消失；

RabbitMQ的Cluster集群模式一般分為兩種，普通模式和鏡像模式。消息隊列通過rabbitmq HA鏡像隊列進行消息隊列實體復制。

普通模式下，以兩個節點（rabbit01、rabbit02）為例來進行說明。對於Queue來說，消息實體只存在於其中一個節點rabbit01（或者rabbit02），rabbit01和rabbit02兩個節點僅有相同的元數據，即隊列的結構。當消息進入rabbit01節點的Queue後，consumer從rabbit02節點消費時，RabbitMQ會臨時在rabbit01、rabbit02間進行消息傳輸，把A中的消息實體取出並經過B發送給consumer。所以consumer應盡量連接每一個節點，從中取消息。即對於同一個邏輯隊列，要在多個節點建立物理Queue。否則無論consumer連rabbit01或rabbit02，出口總在rabbit01，會產生瓶頸。

鏡像模式下，將需要消費的隊列變為鏡像隊列，存在於多個節點，這樣就可以實現RabbitMQ的HA高可用性。作用就是消息實體會主動在鏡像節點之間實現同步，而不是像普通模式那樣，在consumer消費數據時臨時讀取。缺點就是，集群內部的同步通訊會占用大量的網絡帶寬。

二、部署方案

本方案中是在多臺機器之間部署rabbitmq的cluster，要求如下：這幾個節點需要再同一個局域網內；這幾個節點需要有相同的erlang cookie，否則不能正常通信，為了實現cookie內容一致，采用scp的方式進行。

1、環境介紹

rabbitmq01 192.168.101.11

rabbitmq02 192.168.101.12

rabbitmq03 192.168.101.13

操作系統：centos6.7

2、部署過程

（1）分別在3臺機器上配置/etc/hosts，如下

node1 192.168.101.11

node2 192.168.101.12

node3 192.168.101.13

（2）分別在3臺機器上安裝erLang和rabbitmq

安裝erlang

安裝依賴包

yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
編譯安裝
tar -zxvf otp_src_19.0.tar.gz
cd otp_src_19.0
./configure --prefix=/usr/local/bin/erlang --without-javac
make && make install
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile
出現erl命令則說明安裝成功；
安裝rabbitmq

編譯安裝

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.5/rabbitmq-server-generic-unix-3.6.5.tar.xz
yum install -y xz
xz -d rabbitmq-server-3.6.3.tar.xz
tar -xvf rabbitmq-server-generic-unix-3.6.5.tar -C /usr/local/bin/
echo "export PATH=$PATH:/usr/local/bin/erlang/bin:/usr/local/bin/rabbitmq_server-3.6.5/sbin" >> /etc/profile
source /etc/profile
導入rabbitmq的管理界面
rabbitmq-plugins enable rabbitmq_management
設置erlang
找到erlang cookie文件的位置，官方在介紹集群的文檔中提到過.erlang.cookie一般會存在這兩個地址：第一個是$home/.erlang.cookie；第二個地方就是/var/lib/rabbitmq/.erlang.cookie。如果我們使用解壓縮方式安裝部署的rabbitmq，那麽這個文件會在${home}目錄下，也就是$home/.erlang.cookie。如果我們使用rpm等安裝包方式進行安裝的，那麽這個文件會在/var/lib/rabbitmq目錄下。

這裏將 node1 的該文件復制到 node2、node3，註意這個文件的權限是 400（默認即是400），因此采用scp的方式只拷貝內容即可；

可以通過cat $home/.erlang.cookie來查看三臺機器的cookie是否一致，設置erlang的目的是要保證集群內的cookie內容一致。

使用-detached參數運行各節點

rabbitmqctl stop
rabbitmq-server -detached
然後可以通過rabbitmqctl cluster_status查看節點狀態。PS：要先拷貝cookie到另外兩臺機器上，保證三臺機器上的cookie是一致的，然後再啟動服務。

由於guest這個用戶,只能在本地訪問,所以我們要新增一個用戶並賦予權限:

添加用戶並設置密碼:

rabbitmqctl add_user admin 123456
添加權限（使admin用戶對虛擬主機“/” 具有所有權限）:
rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
修改用戶角色（加入administrator用戶組）
rabbitmqctl set_user_tags admin administrator
然後就可以遠程訪問了，然後可直接配置用戶權限等信息。到此,就可以通過http://ip:15672 使用admin 123456 進行登陸了。

到這裏的話，每個節點是作為單獨的一臺RabbitMQ存在的，也可以正常提供服務了
（3）組成集群

rabbitmq-server啟動時，會一起啟動節點和應用，它預先設置RabbitMQ應用為standalone模式。要將一個節點加入到現有的集群中，你需要停止這個應用，並將節點設置為原始狀態。如果使用./rabbitmqctl stop，應用和節點都將被關閉。所以使用rabbitmqctl stop_app僅僅關閉應用。

將 node2、node3與 node1 組成集群，這裏以node2為例

node2# rabbitmqctl stop_app

node2# rabbitmqctl join_cluster rabbit@node1 ####這裏集群的名字一定不要寫錯了

node2# rabbitmqctl start_app

將node3重復上述操作，也加入node1的集群。

則此時 node2 與 node3 也會自動建立連接，集群配置完畢；（PS：如果要使用內存節點，則可以使用node2 # rabbitmqctl join_cluster --ram rabbit@node1加入集群）集群配置好後，可以在 RabbitMQ 任意節點上執行 rabbitmqctl cluster_status 來查看是否集群配置成功。

node3# rabbitmqctl cluster_status

Cluster status of node rabbit@node3 ...
[{nodes,[{disc,[rabbit@node1,rabbit@node2,rabbit@node3]}]},
{running_nodes,[rabbit@node1,rabbit@node2,rabbit@node3]},
{cluster_name,<<"rabbit@node1">>},
{partitions,[]},
{alarms,[{rabbit@node1,[]},{rabbit@node2,[]},{rabbit@node3,[]}]}]
可知，集群的名稱默認為rabbit@node1；

PS：另外一種查看集群是否成功的方式，在web頁面上的“Queues”的列表中，查看有如下顯示為“同步鏡像到node2”，則也表示集群配置成功

（4）設置鏡像隊列策略

在任意一個節點上執行如下操作（這裏在node1上執行）

首先，在web界面，登陸後，點擊“Admin--Virtual Hosts（頁面右側）”，在打開的頁面上的下方的“Add a new virtual host”處增加一個虛擬主機，同時給用戶“admin”和“guest”均加上權限（在頁面直接設置、點點點即可）；

然後，在linux中執行如下命令

rabbitmqctl set_policy -p coresystem ha-all "^" ‘{"ha-mode":"all"}‘
"coresystem" vhost名稱， "^"匹配所有的隊列， ha-all 策略名稱為ha-all, ‘{"ha-mode":"all"}‘ 策略模式為 all 即復制到所有節點，包含新增節點。

則此時鏡像隊列設置成功。（這裏的虛擬主機coresystem是代碼中需要用到的虛擬主機，虛擬主機的作用是做一個消息的隔離，本質上可認為是一個rabbitmq-server，是否增加虛擬主機，增加幾個，這是由開發中的業務決定，即有哪幾類服務，哪些服務用哪一個虛擬主機，這是一個規劃）。

--------------------------------------------#########################--------------------------------------------------------------------------------------------------

PS：這裏補充一些對於設置鏡像隊列策略的說明

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition [Priority]

-p Vhost： 可選參數，針對指定vhost下的queue進行設置
Name: policy的名稱
Pattern: queue的匹配模式(正則表達式)
Definition：鏡像定義，包括三個部分ha-mode, ha-params, ha-sync-mode
ha-mode:指明鏡像隊列的模式，有效值為 all/exactly/nodes
all：表示在集群中所有的節點上進行鏡像
exactly：表示在指定個數的節點上進行鏡像，節點的個數由ha-params指定
nodes：表示在指定的節點上進行鏡像，節點名稱通過ha-params指定
ha-params：ha-mode模式需要用到的參數
ha-sync-mode：進行隊列中消息的同步方式，有效值為automatic和manual
priority：可選參數，policy的優先級
------------------------------------------------########################-----------------------------------------------------------------------------------------------------
將所有隊列設置為鏡像隊列，即隊列會被復制到各個節點，各個節點狀態保持一直。完成這 6 個步驟後，RabbitMQ 高可用集群就已經搭建好了，最後一個步驟就是搭建均衡器。

（5）安裝並配置HA

PS：可以使用阿裏雲的內網slb來實現負載均衡，不用自己搭建HA。這裏僅演示如下：

在192.168.101.11上yum安裝HAProxy（yum -y install HAProxy），然後修改 /etc/haproxy/haproxy.cfg：

global

log 127.0.0.1 local2

chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon

stats socket /var/lib/haproxy/stats

defaults
log global
mode tcp
option tcplog
option dontlognull
retries 3
option redispatch
maxconn 2000
contimeout 5s
clitimeout 120s
srvtimeout 120s

listen rabbitmq_cluster 192.168.101.11:5670
mode tcp
balance roundrobin
server rabbit1 192.168.101.11:5672 check inter 5000 rise 2 fall 2
server rabbit2 192.168.101.12:5672 check inter 5000 rise 2 fall 2
server rabbit3 192.168.101.13:5672 check inter 5000 rise 2 fall 2
listen private_monitoring :8100 mode http option httplog stats enable stats uri /rabbitmqstats stats refresh 5s
重啟HAProxy
service haproxy restart
登錄瀏覽器輸入地址http://192.168.101.11:8100/rabbitmqstats查看HAProxy的狀態

三、常見問題
常見錯誤：

1、使用 rabbitmq-server -detached命令啟動rabbitmq時，出現以下提示Warning: PID file not written; -detached was passed，此時使用rabbitmqctl status提示服務已啟動，可知此問題不用解決。

2、由於更改hostname文件，在每次rabbitmqctl stop或者rabbitmqctl cluster_status等，只要是rabbitmq的命令就報錯，提示大概如下

Cluster status of node rabbit@web2 ...
Error: unable to connect to node rabbit@web2: nodedown

DIAGNOSTICS
===========

attempted to contact: [rabbit@web2]

rabbit@web2:
* connected to epmd (port 4369) on web2
* epmd reports node ‘rabbit‘ running on port 25672
* TCP connection succeeded but Erlang distribution failed

* Hostname mismatch: node "rabbit@mq2" believes its host is different. Please ensure that hostnames resolve the same way locally and on "rabbit@mq2"

current node details:
- node name: ‘rabbitmq-cli-11@web2‘
- home dir: /root
- cookie hash: SGwxMdJ3PjEXG1asIEFpBg==

此時先ps aux | grep mq，然後kill -9 該進程，然後再rabbitmq-server -detached即可解決。（即先強殺，再重新啟動）

3、使用rabbitmqctl stop，rabbitmq-server -detached重新啟動後，原先添加的用戶admin、虛擬主機coresystem等均丟失，還需要重新添加。

采用腳本啟動，在腳本中寫好啟動好需要加載的各配置項（創建admin用戶並授權，創建虛擬主機並授權，配置鏡像隊列）。

3、命令

rabbitmqctl stop_app 僅關閉應用，不關閉節點
rabbitmqctl start_app 開啟應用
rabbitmq--server -detached 啟動節點和應用
rabbitmqctl 關閉節點和應用
4、常用命令：

Rabbitmq服務器的主要通過rabbitmqctl和rabbimq-plugins兩個工具來管理，以下是一些常用功能。

1）. 服務器啟動與關閉

啟動: rabbitmq-server –detached
關閉:rabbitmqctl stop
若單機有多個實例，則在rabbitmqctlh後加–n 指定名稱

2）. 插件管理

開啟某個插件：rabbitmq-plugins enable xxx
關閉某個插件：rabbitmq-plugins disable xxx
註意：重啟服務器後生效。
3）.virtual_host管理

新建virtual_host: rabbitmqctl add_vhost xxx
撤銷virtual_host:rabbitmqctl delete_vhost xxx

4）. 用戶管理

新建用戶：rabbitmqctl add_user xxxpwd
刪除用戶: rabbitmqctl delete_user xxx
查看用戶：rabbitmqctl list_users
改密碼: rabbimqctlchange_password {username} {newpassword}
設置用戶角色：rabbitmqctlset_user_tags {username} {tag ...}
Tag可以為 administrator,monitoring, management

5）. 權限管理

權限設置：set_permissions [-pvhostpath] {user} {conf} {write} {read}
Vhostpath
Vhost路徑
user
用戶名
Conf
一個正則表達式match哪些配置資源能夠被該用戶訪問。
Write
一個正則表達式match哪些配置資源能夠被該用戶讀。
Read
一個正則表達式match哪些配置資源能夠被該用戶訪問。

6）. 獲取服務器狀態信息

服務器狀態：rabbitmqctl status ##其中可查看rabbitmq的版本信息
7）.獲取集群狀態信息

rabbitmqctl cluster_status

rabbitmq集群部署及配置