1. 程式人生 > >rabbitMQ訊息中介軟體

rabbitMQ訊息中介軟體

訊息中介軟體
訊息中介軟體一般兩個功能,解耦和非同步處理


非同步處理:
有的時候,我們一個操作可能會耗時比較久,所以,並不會在主要業務流程裡進行處理
比如,我們在刪除一個使用者的時候,可能會有很多關聯資料的操作,為了儘快的響應以及解耦合,我們會將這個訊息傳送給其他系統,讓它們根據需求自己處理 


穩定 可靠、高效的訊息傳輸
產品容錯能力強,系統崩潰時不會導致訊息丟失,確保關鍵業務資料的可靠傳輸;支援斷點續傳和訊息流量控制,使訊息引擎能夠最大效率地利用網路傳輸能力。




高效能
效能可伸縮 
可靠性:主要指訊息的可靠性,各種情況下不應丟訊息
高可用:自身不能隨便宕機
易用性/可維護性:
API易用
部署容易
運維管理容易:便於與已有監控系統整合;便於細粒度管理訊息中介軟體中的各種訊息
以及一些非同步化(訊息中介軟體實質上是一種同步變非同步)後所要解決的問題:


訊息順序性保證:先生產的訊息需要先消費,某些場景下是必須的




缺點:重複消費 和 重複生產 




一、rabbitMQ簡介
1.1、rabbitMQ的優點(適用範圍)
1. 基於erlang語言開發具有高可用高併發的優點,適合叢集伺服器。
2. 健壯、穩定、易用、跨平臺、支援多種語言、文件齊全。
3. 有訊息確認機制和持久化機制,可靠性高。
4. 開源
其他MQ的優勢:
1. Apache ActiveMQ曝光率最高,但是可能會丟訊息。
2. ZeroMQ延遲很低、支援靈活拓撲,但是不支援訊息持久化和崩潰恢復。










你是否遇到過兩個(多個)系統間需要通過定時任務來同步某些資料?你是否在為異構系統的不同程序間相互呼叫、通訊的問題而苦惱、掙扎?如果是,那麼恭喜你,訊息服務讓你可以很輕鬆地解決這些問題。
訊息服務擅長於解決多系統、異構系統間的資料交換(訊息通知/通訊)問題,你也可以把它用於系統間服務的相互呼叫(RPC)。本文將要介紹的RabbitMQ就是當前最主流的訊息中介軟體之一。


RabbitMQ簡介
AMQP,即Advanced Message Queuing Protocol,高階訊息佇列協議,是應用層協議的一個開放標準,為面向訊息的中介軟體設計。訊息中介軟體主要用於元件之間的解耦,訊息的傳送者無需知道訊息使用者的存在,反之亦然。
AMQP的主要特徵是面向訊息、佇列、路由(包括點對點和釋出/訂閱)、可靠性、安全。
RabbitMQ是一個開源的AMQP實現,伺服器端用Erlang語言編寫,支援多種客戶端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支援AJAX。用於在分散式系統中儲存轉發訊息,在易用性、擴充套件性、高可用性等方面表現不俗。
下面將重點介紹RabbitMQ中的一些基礎概念,瞭解了這些概念,是使用好RabbitMQ的基礎。


ConnectionFactory、Connection、Channel
ConnectionFactory、Connection、Channel都是RabbitMQ對外提供的API中最基本的物件。Connection是RabbitMQ的socket連結,它封裝了socket協議相關部分邏輯。ConnectionFactory為Connection的製造工廠。
Channel是我們與RabbitMQ打交道的最重要的一個介面,我們大部分的業務操作是在Channel這個介面中完成的,包括定義Queue、定義Exchange、繫結Queue與Exchange、釋出訊息等。


Queue
Queue(佇列)是RabbitMQ的內部物件,用於儲存訊息。




RabbitMQ中的訊息都只能儲存在Queue中,生產者(下圖中的P)生產訊息並最終投遞到Queue中,消費者(下圖中的C)可以從Queue中獲取訊息並消費。




多個消費者可以訂閱同一個Queue,這時Queue中的訊息會被平均分攤給多個消費者進行處理,而不是每個消費者都收到所有的訊息並處理。




Message acknowledgment
在實際應用中,可能會發生消費者收到Queue中的訊息,但沒有處理完成就宕機(或出現其他意外)的情況,這種情況下就可能會導致訊息丟失。為了避免這種情況發生,我們可以要求消費者在消費完訊息後傳送一個回執給RabbitMQ,RabbitMQ收到訊息回執(Message acknowledgment)後才將該訊息從Queue中移除;如果RabbitMQ沒有收到回執並檢測到消費者的RabbitMQ連線斷開,則RabbitMQ會將該訊息傳送給其他消費者(如果存在多個消費者)進行處理。這裡不存在timeout概念,一個消費者處理訊息時間再長也不會導致該訊息被髮送給其他消費者,除非它的RabbitMQ連線斷開。
這裡會產生另外一個問題,如果我們的開發人員在處理完業務邏輯後,忘記傳送回執給RabbitMQ,這將會導致嚴重的bug——Queue中堆積的訊息會越來越多;消費者重啟後會重複消費這些訊息並重復執行業務邏輯…


另外pub message是沒有ack的。


Message durability
如果我們希望即使在RabbitMQ服務重啟的情況下,也不會丟失訊息,我們可以將Queue與Message都設定為可持久化的(durable),這樣可以保證絕大部分情況下我們的RabbitMQ訊息不會丟失。但依然解決不了小概率丟失事件的發生(比如RabbitMQ伺服器已經接收到生產者的訊息,但還沒來得及持久化該訊息時RabbitMQ伺服器就斷電了),如果我們需要對這種小概率事件也要管理起來,那麼我們要用到事務。由於這裡僅為RabbitMQ的簡單介紹,所以這裡將不講解RabbitMQ相關的事務。


Prefetch count
前面我們講到如果有多個消費者同時訂閱同一個Queue中的訊息,Queue中的訊息會被平攤給多個消費者。這時如果每個訊息的處理時間不同,就有可能會導致某些消費者一直在忙,而另外一些消費者很快就處理完手頭工作並一直空閒的情況。我們可以通過設定prefetchCount來限制Queue每次傳送給每個消費者的訊息數,比如我們設定prefetchCount=1,則Queue每次給每個消費者傳送一條訊息;消費者處理完這條訊息後Queue會再給該消費者傳送一條訊息。
2014-2-21 9-49-08


Exchange
生產者將訊息投遞到Queue中,實際上這在RabbitMQ中這種事情永遠都不會發生。實際的情況是,生產者將訊息傳送到Exchange(交換器,下圖中的X),由Exchange將訊息路由到一個或多個Queue中(或者丟棄)。


Exchange是按照什麼邏輯將訊息路由到Queue的?這個將在Binding一節介紹。
RabbitMQ中的Exchange有四種類型,不同的型別有著不同的路由策略,這將在Exchange Types一節介紹。


routing key
生產者在將訊息傳送給Exchange的時候,一般會指定一個routing key,來指定這個訊息的路由規則,而這個routing key需要與Exchange Type及binding key聯合使用才能最終生效。
在Exchange Type與binding key固定的情況下(在正常使用時一般這些內容都是固定配置好的),我們的生產者就可以在傳送訊息給Exchange時,通過指定routing key來決定訊息流向哪裡。
RabbitMQ為routing key設定的長度限制為255 bytes。


Binding
RabbitMQ中通過Binding將Exchange與Queue關聯起來,這樣RabbitMQ就知道如何正確地將訊息路由到指定的Queue了。
2014-2-21 9-52-46


Binding key
在繫結(Binding)Exchange與Queue的同時,一般會指定一個binding key;消費者將訊息傳送給Exchange時,一般會指定一個routing key;當binding key與routing key相匹配時,訊息將會被路由到對應的Queue中。這個將在Exchange Types章節會列舉實際的例子加以說明。
在繫結多個Queue到同一個Exchange的時候,這些Binding允許使用相同的binding key。
binding key 並不是在所有情況下都生效,它依賴於Exchange Type,比如fanout型別的Exchange就會無視binding key,而是將訊息路由到所有繫結到該Exchange的Queue。


Exchange Types
RabbitMQ常用的Exchange Type有fanout、direct、topic、headers這四種(AMQP規範裡還提到兩種Exchange Type,分別為system與自定義,這裡不予以描述),下面分別進行介紹。


fanout
fanout型別的Exchange路由規則非常簡單,它會把所有傳送到該Exchange的訊息路由到所有與它繫結的Queue中。


生產者(P)傳送到Exchange(X)的所有訊息都會路由到圖中的兩個Queue,並最終被兩個消費者(C1與C2)消費。


direct
direct型別的Exchange路由規則也很簡單,它會把訊息路由到那些binding key與routing key完全匹配的Queue中。


我們以routingKey=”error”傳送訊息到Exchange,則訊息會路由到Queue1(amqp.gen-S9b…,這是由RabbitMQ自動生成的Queue名稱)和Queue2(amqp.gen-Agl…);如果我們以routingKey=”info”或routingKey=”warning”來發送訊息,則訊息只會路由到Queue2。如果我們以其他routingKey傳送訊息,則訊息不會路由到這兩個Queue中。


topic
前面講到direct型別的Exchange路由規則是完全匹配binding key與routing key,但這種嚴格的匹配方式在很多情況下不能滿足實際業務需求。topic型別的Exchange在匹配規則上進行了擴充套件,它與direct型別的Exchage相似,也是將訊息路由到binding key與routing key相匹配的Queue中,但這裡的匹配規則有些不同,它約定:


routing key為一個句點號“. ”分隔的字串(我們將被句點號“. ”分隔開的每一段獨立的字串稱為一個單詞),如“stock.usd.nyse”、“nyse.vmw”、“quick.orange.rabbit”
binding key與routing key一樣也是句點號“. ”分隔的字串
binding key中可以存在兩種特殊字元“*”與“#”,用於做模糊匹配,其中“*”用於匹配一個單詞,“#”用於匹配多個單詞(可以是零個)
2014-2-21 9-57-37
以上圖中的配置為例,routingKey=”quick.orange.rabbit”的訊息會同時路由到Q1與Q2,routingKey=”lazy.orange.fox”的訊息會路由到Q1與Q2,routingKey=”lazy.brown.fox”的訊息會路由到Q2,routingKey=”lazy.pink.rabbit”的訊息會路由到Q2(只會投遞給Q2一次,雖然這個routingKey與Q2的兩個bindingKey都匹配);routingKey=”quick.brown.fox”、routingKey=”orange”、routingKey=”quick.orange.male.rabbit”的訊息將會被丟棄,因為它們沒有匹配任何bindingKey。


headers
headers型別的Exchange不依賴於routing key與binding key的匹配規則來路由訊息,而是根據傳送的訊息內容中的headers屬性進行匹配。
在繫結Queue與Exchange時指定一組鍵值對;當訊息傳送到Exchange時,RabbitMQ會取到該訊息的headers(也是一個鍵值對的形式),對比其中的鍵值對是否完全匹配Queue與Exchange繫結時指定的鍵值對;如果完全匹配則訊息會路由到該Queue,否則不會路由到該Queue。
該型別的Exchange沒有用到過(不過也應該很有用武之地),所以不做介紹。


RPC
MQ本身是基於非同步的訊息處理,前面的示例中所有的生產者(P)將訊息傳送到RabbitMQ後不會知道消費者(C)處理成功或者失敗(甚至連有沒有消費者來處理這條訊息都不知道)。
但實際的應用場景中,我們很可能需要一些同步處理,需要同步等待服務端將我的訊息處理完成後再進行下一步處理。這相當於RPC(Remote Procedure Call,遠端過程呼叫)。在RabbitMQ中也支援RPC。


RabbitMQ中實現RPC的機制是:


客戶端傳送請求(訊息)時,在訊息的屬性(MessageProperties,在AMQP協議中定義了14中properties,這些屬性會隨著訊息一起傳送)中設定兩個值replyTo(一個Queue名稱,用於告訴伺服器處理完成後將通知我的訊息傳送到這個Queue中)和correlationId(此次請求的標識號,伺服器處理完成後需要將此屬性返還,客戶端將根據這個id瞭解哪條請求被成功執行了或執行失敗)
伺服器端收到訊息並處理
伺服器端處理完訊息後,將生成一條應答訊息到replyTo指定的Queue,同時帶上correlationId屬性
客戶端之前已訂閱replyTo指定的Queue,從中收到伺服器的應答訊息後,根據其中的correlationId屬性分析哪條請求被執行了,根據執行結果進行後續業務處理
總結
本文介紹了RabbitMQ中個人認為最重要的概念,充分利用RabbitMQ提供的這些功能就可以處理我們絕大部分的非同步業務了。

相關推薦

RabbitMQ訊息中介軟體技術精講無密完結版

第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景等。 1-1 課程導學 1-2 業界主流訊息中介軟體介紹 第2章 低門檻,入門RabbitMQ核心概念 本

RabbitMQ訊息中介軟體技術精講(完整版)

點選下載 第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景

某課實戰RabbitMQ訊息中介軟體技術精講

第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景等。 1-1 課程導學 1-2 業界主流訊息中介軟體介紹 第2章 低門檻,入門Rab

RabbitMQ訊息中介軟體技術精講(已完結)

第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景等。 1-1 課程導學 1-2 業界主流訊息中介軟體介紹 第2章 低門檻,入門Rab

SpringBoot中使用RabbitMQ訊息中介軟體

一、建立SpringBoot工程並配置RabbitMQ 1、建立SpringBoot工程,選擇RabbitMQ 2、在application.properties檔案中配置RabbitMQ //RabbitMQ的url spring.rabbitmq.addresse

更多免費初級中級高階大資料java視訊教程下載 加(微***信((號keepper,請備註java或掃下面2二3維4碼rabbitmq訊息中介軟體視訊

更多免費初級中級高階大資料java視訊教程下載 加(微***信((號keepper,請備註java或掃下面2二3維4碼rabbitmq訊息中介軟體視訊java視訊教程01-訊息中介軟體介紹及特點講解_rec.mp4java視訊教程02-訊息服務傳遞模型及各自的特點詳解_rec.mp4java視訊教程03-訊息

2018目前最新RabbitMQ訊息中介軟體技術精講(已完結)

第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景等。 1-1 課程導學 1-2 業界主流訊息中介軟體介紹 第2章 低門檻,入門RabbitMQ核心概念 本

2019最新RabbitMQ訊息中介軟體技術精講(已完結)

第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景等。 1-1 課程導學 1-2 業界主流訊息中介軟體介紹 第2章 低門檻,入門RabbitMQ核心概念 本

RabbitMQ訊息中介軟體】12.RabbitMQ結合SSM框架-編寫倉儲系統

瞭解了RabbitMQ的基本知識和幾大佇列模式,以及Spring-Rabbit開源工程的基本原理後,我們動手來實現在實際工作開發中需要與SSM框架結合使用的工程場景。該場景模擬以下活動:貨倉管理系統用於對貨物的管理,它的每一次進貨(insert)和修改(update)、刪除(

最新RabbitMQ訊息中介軟體技術精講

第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景等。 1-1 課程導學 1-2 業界主流訊息中介軟體介紹 第2章 低門檻,入門Rabbi

rabbitMQ訊息中介軟體

訊息中介軟體 訊息中介軟體一般兩個功能,解耦和非同步處理 非同步處理: 有的時候,我們一個操作可能會耗時比較久,所以,並不會在主要業務流程裡進行處理 比如,我們在刪除一個使用者的時候,可能會有很多關聯資料的操作,為了儘快的響應以及解耦合,我們會將這個訊息傳送給其他系統,讓它

RabbitMQ訊息中介軟體】13.RabbitMQ結合SSM框架-與銷售系統互動

接上一篇:https://blog.csdn.net/acmman/article/details/79778241為了方便大家學習,我將部落格中編寫的倉儲系統和銷售系統的最終原始碼分享出來,希望能幫助到大家學習:-------------------------------

使用rabbitmq訊息中介軟體

###rabbitmq介紹: RabbitMQ是一個在AMQP基礎上完整的,可複用的企業訊息系統。它可以用於大型軟體系統各個模組之間的高效通訊,支援高併發,支援可擴充套件。 ###amqp介紹: 即Advanced Message Queuing Protocol,一

RabbitMQ訊息中介軟體技術精講實戰(百度網)

第1章 課程介紹 本章首先讓大家徹底明白為什麼學習RabbitMQ,通過本課程的學習具體收穫有哪些?課程內容具體安排與學習建議,然後為大家簡單介紹下業界主流訊息中介軟體有哪些,各自適用場景等。 1-1 課程導學 1-2 業界主流訊息中介軟體介紹 第2章 低門檻,入門Rab

RabbitMQ 訊息中介軟體如何保證消費者customer能夠成功處理訊息?

一、確保消費者customer處理訊息成功 預設情況下消費者C1接收到訊息1無論是否正常接受和處理都會立即應答rabbit伺服器,

訊息中介軟體--RabbitMQ學習(一)

Activemq介紹 Activemq是 Apache出品,最流行的能力強勁的開源訊息匯流排,並且它個完全支援MS規範的訊息中介軟體。 其豐富的AP、多種叢集構建模式使得他成為業界老牌訊息中介軟體,在中小型企業中應用廣泛。 MQ衡量指標:服務效能、資料儲存、叢集架構

RabbitMQ訊息中介軟體)在工作中的應用場景

  RabbitMQ(訊息中介軟體)在工作中的應用場景  1、跨系統的非同步通訊,所有需要非同步互動的地方都可以使用訊息佇列。就像我們除了打電話(同步)以外,還需要發簡訊,發電子郵件(非同步)的通訊方式。   2、多個應用之間的耦合,由於訊息是平臺無關和語言

訊息中介軟體(ActiveMQ RabbitMQ KafKa對比)

轉摘自:https://blog.csdn.net/vtopqx/article/details/76382934 1)TPS比較: Kafka最高,RabbitMq 次之, ActiveMq 最差。2)吞吐量對比: kafka具有高的吞吐量,內部採用訊息的批量處理,zero-copy機制,資料

訊息中介軟體rabbitmq(1)

介紹 注:沒有註冊中心,總共只分為三個角色,product,server,customer。 Queue 訊息佇列,等同於rocketmq中的topic Exchange 生產者產生的訊息並不是直接傳送給訊息佇列Queue的,而是要經過Exchange(交換器),由Exchange再將訊息路由到

訊息中介軟體rabbitmq(2)

介紹 主要演示生產者和消費如何傳遞訊息的 生產者 public static void main(String[] args) throws IOException, TimeoutException { // TODO Auto-generated method stub