1. 程式人生 > >訊息服務在電商中的實踐

訊息服務在電商中的實踐

1 商品和訂單服務中使用MQ

1.1 同步

在訂單生成的時候直接扣庫存,這是最初等的方式扣庫存,這種方式比較簡單,但是也有一系列的問題:

  • 會造成有很多訂單把產品庫存扣除而並沒有支付,這就需要有一個後臺指令碼,將一段時間內沒有支付的訂單的庫存釋放,把訂單取消掉
  • 即時扣庫存,併發差

1,3商品服務,操作商品服務的 db
2,4 訂單服務.操作訂單服務的 db

避免訪問不同服務的 db

1.2 改造成基於訊息佇列的非同步操作

首先考慮只將第四步非同步化
分析:2,4都是操作db,第四步不再等待,
1,2,3成功後即反饋給使用者
之後通過訊息通知服務非同步下單,若第4步非同步下單失敗了,傾向於重試操作,試圖重新生成訂單,訊息佇列的訊息也是可回溯的


訂單建立完成後,處於排隊狀態,然後服務釋出一個事件Order Created 到訊息佇列中
即訂單服務向外界傳送訊息:我建立了一個訂單
由MQ 轉發給訂閱該訊息的服務


如果商品服務收到建立訂單訊息之後執行扣庫存操作
注意,這裡可能因為某些不可抗因素導致扣庫存失敗
無論成功與否,商品服務都會發送一個扣庫存訊息到 MQ 中,訊息內容即扣庫存的結果
訂單服務會訂閱扣庫存的結果,接收到該訊息後

  • 如果扣庫存成功,將訂單的狀態改為已確認,即下單成功
  • 如果扣庫存失敗,將訂單的狀態改為已取消,即下單失敗

欲實現上述模型要求,需要以下保證

* 可靠訊息投遞

服務發出的訊息,一定會被MQ收到

* 使用者體驗的變化
前端配合排隊中等介面

商品/訂單服務都變成非同步化,適合秒殺類場景,當流量不大時,並不太適合如此改造

2 非同步化設計

對於 CAP 理論

  • zk保證 AP
  • eurake 保證 CP

最終分析例項

當訂單支付成功後,會有一個出庫過程,既然有這個過程,就有可能出庫失敗, 他的流程是怎麼樣子的呢?
庫存有兩部分:一個快取redis層,一個數據庫mysql層

1 當客服新增了5個庫存,那麼,快取redis和資料庫mysql層都需要增加5個庫存,這個使用分散式事務的最終一致性來滿足要麼全加,要麼全不加庫存

2 當訂單生成的時候,需要扣除庫存,先扣除redis庫存

,如果扣除成功,則生成訂單進行支付,這個過程不扣除mysql庫存

3 當redis庫存扣乾淨,這個產品就無法下單了,下單就會失敗,就把外層的給擋住了

4 在第2步扣除redis庫存成功後,生成訂單,進行支付,支付成功,返回我的訂單中心, 會發現有一個出庫過程

5 出庫過程
一個MQ非同步解耦的任務佇列,這個過程是扣除mysql庫存

  • 如果扣mysql庫存成功,出庫成功,完成下訂單整個流程,進入發貨狀態
  • 如果扣mysql庫存失敗,出庫失敗,進行一系列的操作
    • 訂單狀態改成取消
    • 返還redis庫存
    • 退款

redis庫存和mysql庫存

支付前是預扣,是扣redis庫存,是鎖定庫存的過程
支付後是真正扣,扣mysql庫存,保證庫存最終一致

但是,在極端情況下會存在資料不一致

  • 如果redis庫存 = mysql庫存,不會有問題
  • 如果redis庫存 < mysql庫存,不會有超賣問題,但會存在實際有庫存,但是沒有賣的情況
  • 如果redis庫存 > mysql庫存,就會超賣,超賣的訂單,在出庫的過程中會失敗

這樣總體不會出問題,mysql資料庫層,保證庫存最終不會出問題。

但是會有以下的問題:

資料庫庫存和redis庫存不一致,如何檢測?

如果檢測出來不一致,如何同步

沒有想出來好的方案
比較暴力的方式,就是找一個低峰期,譬如凌晨1點,週期性強行覆蓋。 但是極端情況下還是會存在同步後不準確,譬如在同步的過程中,剛好有一個訂單在支付,這個訂單支付成功後,出庫的過程中,扣除了mysql的庫存,但是沒有扣除redis的庫存

這個就是資料庫同步快取的更新機制方面的問題
屬於一致性的邏輯設計的問題
`快取數 = 資料庫庫存數 - 待扣數`
當然這裡面也還有其它的方案,以及考慮到一致性的要求高低,可以使用簡單或複雜的方案
就看系統複雜度了,越是大系統就要拆得越細
比如待扣數又可以放到一個佇列裡面,或者快取裡面,同時有計數,直接讀計數就行
比如放到mongo,已支付待出庫的數量,一般也不會很大,count一下,也不會損失多少
所以一般系統都不能完全保障資料鏈不出錯,但一定要有補償,就是出錯了可以糾錯
要保障不出錯的代價顯然太大
同步是有一套重新整理機制,可以定時,也可以通過MQ,或者監控不一至同步等等。。。
也叫做保障快取資料的新鮮度
一般不會太長時間,半小時,幾分鐘都有可能,不同場景需求不一樣

買火車票的12306,晚上的時間都不能買票,這個時間估計是在同步庫存,將資料庫庫存同步到redis庫存中, 但是買火車票之類,在訂單生成前,必須扣除實際庫存,也就是要扣除mysql的庫存,

因為買火車票和購物不一樣,購物可以付款後出庫,但是買票這種,支付前就必須出庫,因此,要將出庫過程提前, 只有出庫成功,才能生成訂單,同樣要引入redis庫存

先扣快取中的庫存,扣除成功後,然後才可以去扣mysql中的庫存

如果扣除快取中的庫存失敗,就會擋在外面,返回庫存不足,這些請求不會穿刺到mysql中,擋住了大多數的請求壓力。

redis庫存會和mysql庫存不一致,極端情況下是肯定有的,需要進行庫存同步

  • 當快取庫存比資料庫庫存多,那麼就會出現,查詢有票,但是就無法下單,下單的時候就說庫存不足,這個情況下,就會造成資料庫壓力過大,不過12306應該有其他手段來規避這個問題,不過,我確實遇到過,查詢的時候有票,但是無法下單的情況。

  • 當快取庫存比資料庫快取少,那麼不會出問題,只會出現有票,但是沒有出售的情況,等完成庫存同步一下, 明天又準確了。