1. 程式人生 > >三種常見的限流算法

三種常見的限流算法

lis 三種 interval counter current test 超過 添加 精確

在開發高並發系統時,有三把利器用來保護系統:緩存、降級和限流。那麽何為限流呢?顧名思義,限流就是限制流量,就像你寬帶包了1個G的流量,用完了就沒了。通過限流,我們可以很好地控制系統的qps,從而達到保護系統的目的。本篇文章將會介紹一下常用的限流算法以及他們各自的特點。

1、計數器算法
計數器算法是限流算法裏最簡單也是最容易實現的一種算法。比如我們規定,對於A接口來說,我們1分鐘的訪問次數不能超過100個。那麽我們可以這麽做:在一開 始的時候,我們可以設置一個計數器counter,每當一個請求過來的時候,counter就加1,如果counter的值大於100並且該請求與第一個 請求的間隔時間還在1分鐘之內,那麽說明請求數過多;如果該請求與第一個請求的間隔時間大於1分鐘,且counter的值還在限流範圍內,那麽就重置 counter,具體算法的示意圖如下:


技術分享圖片
具體的偽代碼如下:

public class CounterTest {
    public long timeStamp = getNowTime();
    public int reqCount = 0;
    public final int limit = 100; // 時間窗口內最大請求數
    public final long interval = 1000; // 時間窗口ms

    public boolean grant() {
        long now = getNowTime();
        if (now < timeStamp + interval) {
            
// 在時間窗口內 reqCount++; // 判斷當前時間窗口內是否超過最大請求控制數 return reqCount <= limit; } else { timeStamp = now; // 超時後重置 reqCount = 1; return true; } } public long getNowTime() { return System.currentTimeMillis(); } }


這個算法雖然簡單,但是有一個十分致命的問題,那就是臨界問題,我們看下圖:
技術分享圖片
從上圖中我們可以看到,假設有一個惡意用戶,他在0:59時,瞬間發送了100個請求,並且1:00又瞬間發送了100個請求,那麽其實這個用戶在 1秒裏面,瞬間發送了200個請求。我們剛才規定的是1分鐘最多100個請求,也就是每秒鐘最多1.7個請求,用戶通過在時間窗口的重置節點處突發請求, 可以瞬間超過我們的速率限制。用戶有可能通過算法的這個漏洞,瞬間壓垮我們的應用。

聰明的朋友可能已經看出來了,剛才的問題其實是因為我們統計的精度太低。那麽如何很好地處理這個問題呢?或者說,如何將臨界問題的影響降低呢?我們可以看下面的滑動窗口算法。

滑動窗口
滑動窗口,又稱rolling window。為了解決這個問題,我們引入了滑動窗口算法。如果學過TCP網絡協議的話,那麽一定對滑動窗口這個名詞不會陌生。下面這張圖,很好地解釋了滑動窗口算法:
技術分享圖片
在上圖中,整個紅色的矩形框表示一個時間窗口,在我們的例子中,一個時間窗口就是一分鐘。然後我們將時間窗口進行劃分,比如圖中,我們就將滑動窗口 劃成了6格,所以每格代表的是10秒鐘。每過10秒鐘,我們的時間窗口就會往右滑動一格。每一個格子都有自己獨立的計數器counter,比如當一個請求 在0:35秒的時候到達,那麽0:30~0:39對應的counter就會加1。

那麽滑動窗口怎麽解決剛才的臨界問題的呢?我們可以看上圖,0:59到達的100個請求會落在灰色的格子中,而1:00到達的請求會落在橘黃色的格 子中。當時間到達1:00時,我們的窗口會往右移動一格,那麽此時時間窗口內的總請求數量一共是200個,超過了限定的100個,所以此時能夠檢測出來觸 發了限流。

我再來回顧一下剛才的計數器算法,我們可以發現,計數器算法其實就是滑動窗口算法。只是它沒有對時間窗口做進一步地劃分,所以只有1格。

由此可見,當滑動窗口的格子劃分的越多,那麽滑動窗口的滾動就越平滑,限流的統計就會越精確。

2、令牌桶算法
令牌桶算法是比較常見的限流算法之一,大概描述如下:
1)、所有的請求在處理之前都需要拿到一個可用的令牌才會被處理;
2)、根據限流大小,設置按照一定的速率往桶裏添加令牌;
3)、桶設置最大的放置令牌限制,當桶滿時、新添加的令牌就被丟棄或者拒絕;
4)、請求達到後首先要獲取令牌桶中的令牌,拿著令牌才可以進行其他的業務邏輯,處理完業務邏輯之後,將令牌直接刪除;
5)、令牌桶有最低限額,當桶中的令牌達到最低限額的時候,請求處理完之後將不會刪除令牌,以此保證足夠的限流;
111111


3、漏桶算法
漏桶算法其實很簡單,可以粗略的認為就是註水漏水過程,往桶中以一定速率流出水,以任意速率流入水,當水超過桶流量則丟棄,因為桶容量是不變的,保證了整體的速率。
222222

三種常見的限流算法