1. 程式人生 > >想使用訊息佇列,先考慮下這些問題!

想使用訊息佇列,先考慮下這些問題!

原創:Java派(微信公眾號:Java派),歡迎分享,轉載請保留出處。

訊息佇列優勢

訊息佇列(Message Queue,簡稱MQ),其主要用於在複雜的微服務系統中進行訊息通訊,它的優點可以大致整理成以下幾點:

  1. 服務間解耦
  2. 提高服務併發、效能
  3. 突發流量削峰
  4. ...

服務間解耦

微服務系統業務之間相互依賴,各種呼叫錯綜複雜,如果不能良好對服務進行解耦那一個服務的可用性、併發都會受到其他服務的影響。

在沒有引用MQ的之前服務呼叫大概是這些步驟:

圖上的A服務是直接呼叫的,這是沒啥問題的,但是服務上線後要迭代更新的麻,這個時候要是服務C的開發人員有點程式碼小潔癖說:我這個C服務介面命名不太好,我需要重新更新下,當A服務的小哥哥還戴著小耳機聽著小歌曲,突然就得改程式碼了~~。

後來負責服務C的那小哥哥也不好意思了,提出大家一起使用MQ吧,於是A、C的呼叫就變成下面這個樣子了:

服務A不直接呼叫C而是向訊息佇列中傳送訊息(生產者),另一邊的C取出佇列中的訊息(消費者)進行處理,這樣A、C就完成了解耦。

提高服務併發、效能

舉個例子,在沒引入MQ之前服務呼叫多個服務都是同步呼叫,比如像這樣:

服務A要順序的呼叫B、C服務來完成業務邏輯如果A->B需要200ms,A->C需要200ms,再加上自身業務邏輯處理可能需要花費500ms,其中有400ms是呼叫A和B的花費,明明自身100ms就能處理完還白白浪費400ms,不能忍啊於是可以引入MQ做一下改造:

這下有了MQ,A服務只需要發一條訊息比如花費50ms,再加上自身業務邏輯的100ms,那整個呼叫過程只需要花費150ms了,這樣對併發和效能都有一定的改善。

突發流量削峰

突發流量就是網際網路很常見的情況,有時候有熱點、突發事件,那平常QPS為100的介面,突然提升10-20倍這個時候沒有MQ所有流量直接進入服務,這對服務和資料庫都是很大的挑戰:

再次引入MQ就情況就不一樣了,服務A先將請求丟給MQ,然後可以慢慢消費掉:

訊息佇列帶來的一些問題

使用MQ還有很多好處,但是他也會帶一些麻煩事。首先就是會降低系統的可用性,比如MQ掛了怎麼辦呢?所以在引入MQ之前就需要考慮之後帶來的哪些問題,不能只看它的好處也需要考慮它不好的地方。比如下面列出的這些問題要如果解決:

  1. 如何保證訊息佇列的高可用?
  2. 如何保證訊息不被重複消費?
  3. 如何保證訊息不丟失?
  4. 如何保證訊息的消費順序?

下面我們來分析下這些問題。

如何保證訊息佇列的高可用?

如果是單機訊息佇列,一臺機器掛了訊息佇列都就不用了,這是不能接受的,如果是一個訊息佇列群集,一臺機器掛了還有其他機器能正常提供服務,所以要保證訊息佇列的高可用,我們就需要做訊息佇列叢集。

以RabbitMQ為例它有兩種叢集模式:

  1. 普通模式
  2. 映象模式

普通模式

普通模式,RabbitMQ會同步各個節點的資料/狀態,但不包括訊息佇列,預設情況下,訊息佇列駐留在一個節點上,儘管它們在所有節點上都是可見且可訪問的。

在這種模式下,每個節點都有會所有節點的元資料資訊,所以當傳送訊息到佇列時,無論連線的是哪一個節點都能正確的傳送,但是節點只會同步其他節點的元資料,訊息佇列的資料還是在一個節點上,如果這個節點掛了那就意味著發訊息就會失敗,無法保證訊息佇列的高可用。

映象模式

預設情況下,RabbitMQ中Queue與Binding、Exchange不一樣,它只會存於宣告佇列的節點中,但是可以選擇使Queue跨多個節點進行映象。

每一個映象佇列由一個Master和一個或多個映象組成,任何佇列的的操作,都會先應用到Master節點上然後傳播到多個映象節點。如果Master節點掛了,最老的映象節點將會成為新的Master節點。

總結

RabbitMQ有兩種叢集方法:普通模式映象模式,要實現訊息佇列的高可用可以選一種合適的叢集方式來達到,關於RabbitMQ的叢集搭建方式,由於篇幅有限這裡就不多說,可自行檢視 Distributed RabbitMQ文章。

如何保證訊息不被重複消費?

想象下消費者收到重複的訊息會發生什麼情況,比如訂單支付訊息,如果支付服務收到兩條重複的訊息讓使用者去支付兩次,那使用者肯定是不願意的,明明已經支付過了還要支付。

如上圖中第四步消費訊息B的時候失敗了,如果支付服務在做完業務之後,傳送ACK之前服務掛了,MQ沒有收到ACK,由於訊息還存在佇列中,服務恢復正常後會再次收到訊息,如果支付不做檢查那使用者就會發生兩次支付。

要避免這個重複消費的問題,可以在消費端引入記憶體、Redis、資料庫來儲存訊息消費記錄,根據訊息Id來判斷訊息是否已經被消費過。

如何保證訊息不丟失?

假設有訂單服務和支付服務,正常流程是使用者下單成功,然後向支付服務傳送支付訊息,這裡面就涉及訂單服務、支付服務、MQ的互動了,訊息丟失可以分為三種情況:

  1. 生產者訊息丟失
  2. MQ訊息丟失
  3. 消費者訊息丟失

生產者訊息丟失

生產者訊息丟失,可以使用本地訊息表解決、訊息確認/重發等方式來解決。以RabbitMQ為例,它有confirm機制,發出去的訊息是否入佇列,會使用回撥的形式告知生產者,生產者收到訊息後判斷是Ack還是Nak,如果是Nak則重發訊息。

此時還會有問題,如果極端情況下訂單服務掛了,再次重啟後訊息就真丟失了,所以最好還是在生產中對訊息做持久化,待訂單服務恢復後使用Job重新發送訊息。

MQ訊息丟失

MQ訊息丟失一般為未開啟持久化,MQ掛了再次重啟後訊息丟失,所以應當將訊息持久化到磁碟中。如果MQ收到訊息後在同步到磁碟之前MQ掛了,那磁碟中也沒有訊息,這樣還是會導致訊息丟失訊息,不過這只是小概率事件。

消費者訊息丟失

消費者訊息丟失,大都為開啟了autoAck選項,消費者收到訊息後還未完成處理,此時服務掛了,由於開啟了autoAck, MQ會以為此訊息已經被成功消費,將訊息從佇列中移除,而服務恢復過後也不會收到原來的訊息了。

如果保證訊息的消費順序?

有些場景下要保持訊息的順序消費怎麼辦?比如寫Log都是一條條打印出來,如果發到訊息佇列後出現消費順序不一致那訊息的那日誌就會亂掉,給看日誌的人帶來不必要的麻煩。比如為了加快日誌的處理速度使用三個消費都處理日誌:

按圖上的流程,消費者A、B、C可能分別消費日誌1、2、3,這時候就無法保證訊息的處理順序。要保證訊息的消費順序,首先讓訊息都發送到同一個佇列,然後使用一個消費者去處理訊息:

這樣訊息的處理速度就大大降低,要保持訊息的順序,則又想讓訊息的處理速度不至於太慢,可以引用本地佇列:

相關推薦

no