1. 程式人生 > >高並發下接口冪等性解決方案

高並發下接口冪等性解決方案

困難 不同 同時 ont set 參數 交付 任務 數量

一、冪等性概念
在編程中.一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函數,或冪等方法,是指可以使用相同參數重復執行,並能獲得相同結果的函數。這些函數不會影響系統狀態,也不用擔心重復執行會對系統造成改變。例如,“getUsername()和setTrue()”函數就是一個冪等函數. 更復雜的操作冪等保證是利用唯一交易號(流水號)實現.

我的理解:冪等就是一個操作,不論執行多少次,產生的效果和返回的結果都是一樣的。

二、冪等性場景
1、查詢操作:查詢一次和查詢多次,在數據不變的情況下,查詢結果是一樣的。select是天然的冪等操作;

2、刪除操作

:刪除操作也是冪等的,刪除一次和多次刪除都是把數據刪除。(註意可能返回結果不一樣,刪除的數據不存在,返回0,刪除的數據多條,返回結果多個) ;

3、唯一索引:防止新增臟數據。比如:支付寶的資金賬戶,支付寶也有用戶賬戶,每個用戶只能有一個資金賬戶,怎麽防止給用戶創建資金賬戶多個,那麽給資金賬戶表中的用戶ID加唯一索引,所以一個用戶新增成功一個資金賬戶記錄。要點:唯一索引或唯一組合索引來防止新增數據存在臟數據(當表存在唯一索引,並發時新增報錯時,再查詢一次就可以了,數據應該已經存在了,返回結果即可);

4、token機制:防止頁面重復提交。

5、悲觀鎖
獲取數據的時候加鎖獲取。select * from table_xxx where id=‘xxx‘ for update; 註意:id字段一定是主鍵或者唯一索引,不然是鎖表,會死人的;悲觀鎖使用時一般伴隨事務一起使用,數據鎖定時間可能會很長,根據實際情況選用;

6、樂觀鎖——樂觀鎖只是在更新數據那一刻鎖表,其他時間不鎖表,所以相對於悲觀鎖,效率更高。樂觀鎖的實現方式多種多樣可以通過version或者其他狀態條件:
1. 通過版本號實現update table_xxx set name=#name#,version=version+1 where version=#version#如下圖(來自網上);
2. 通過條件限制 update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0要求:quality-#subQuality# >= ,這個情景適合不用版本號,只更新是做數據安全校驗,適合庫存模型,扣份額和回滾份額,性能更高;

7、分布式鎖

如果是分布是系統,構建全局唯一索引比較困難,例如唯一性的字段沒法確定,這時候可以引入分布式鎖,通過第三方的系統(redis或zookeeper),在業務系統插入數據或者更新數據,獲取分布式鎖,然後做操作,之後釋放鎖,這樣其實是把多線程並發的鎖的思路,引入多多個系統,也就是分布式系統中得解決思路。要點:某個長流程處理過程要求不能並發執行,可以在流程執行之前根據某個標誌(用戶ID+後綴等)獲取分布式鎖,其他流程執行時獲取鎖就會失敗,也就是同一時間該流程只能有一個能執行成功,執行完成後,釋放分布式鎖(分布式鎖要第三方系統提供);

8、select + insert
並發不高的後臺系統,或者一些任務JOB,為了支持冪等,支持重復執行,簡單的處理方法是,先查詢下一些關鍵數據,判斷是否已經執行過,在進行業務處理,就可以了。註意:核心高並發流程不要用這種方法;

9、狀態機冪等
在設計單據相關的業務,或者是任務相關的業務,肯定會涉及到狀態機(狀態變更圖),就是業務單據上面有個狀態,狀態在不同的情況下會發生變更,一般情況下存在有限狀態機,這時候,如果狀態機已經處於下一個狀態,這時候來了一個上一個狀態的變更,理論上是不能夠變更的,這樣的話,保證了有限狀態機的冪等。註意:訂單等單據類業務,存在很長的狀態流轉,一定要深刻理解狀態機,對業務系統設計能力提高有很大幫助

10、對外提供接口的api如何保證冪等
如銀聯提供的付款接口:需要接入商戶提交付款請求時附帶:source來源,seq序列號;source+seq在數據庫裏面做唯一索引,防止多次付款(並發時,只能處理一個請求) 。
重點:對外提供接口為了支持冪等調用,接口有兩個字段必須傳,一個是來源source,一個是來源方序列號seq,這個兩個字段在提供方系統裏面做聯合唯一索引,這樣當第三方調用時,先在本方系統裏面查詢一下,是否已經處理過,返回相應處理結果;沒有處理過,進行相應處理,返回結果。註意,為了冪等友好,一定要先查詢一下,是否處理過該筆業務,不查詢直接插入業務系統,會報錯,但實際已經處理了。

三、總結
冪等與你是不是分布式高並發還有JavaEE都沒有關系。關鍵是你的操作是不是冪等的。一個冪等的操作典型如:把編號為5的記錄的A字段設置為0這種操作不管執行多少次都是冪等的。一個非冪等的操作典型如:把編號為5的記錄的A字段增加1這種操作顯然就不是冪等的。要做到冪等性,從接口設計上來說不設計任何非冪等的操作即可。譬如說需求是:當用戶點擊贊同時,將答案的贊同數量+1。改為:當用戶點擊贊同時,確保答案贊同表中存在一條記錄,用戶、答案。贊同數量由答案贊同表統計出來。總之冪等性應該是合格程序員的一個基因,在設計系統時,是首要考慮的問題,尤其是在像支付寶,銀行,互聯網金融公司等涉及的都是錢的系統,既要高效,數據也要準確,所以不能出現多扣款,多打款等問題,這樣會很難處理,用戶體驗也不好。

高並發下接口冪等性解決方案