概述

高併發系統時有三把利器用來保護系統：快取、降級和限流，快取的目的是提升系統訪問速度和增大系統能處理的容量，降級是當服務出問題或者影響到核心流程的效能則需要暫時遮蔽掉，待高峰或者問題解決後再開啟，而有些場景並不能用快取和降級來解決，比如稀缺資源（秒殺、搶購）、寫服務（如評論、下單）、頻繁的複雜查詢（評論的最後幾頁），因此需有一種手段來限制這些場景的併發/請求量，即限流

限流的目的是通過對併發訪問/請求進行限速或者一個時間視窗內的的請求進行限速來保護系統，一旦達到限制速率則可以拒絕服務（定向到錯誤頁或告知資源沒有了）、排隊或等待（比如秒殺、評論、下單）、降級（返回託底資料或預設資料，如商品詳情頁庫存預設有貨）。

限流方式

• 限制總併發數（比如資料庫連線池、執行緒池）
• 限制瞬時併發數（如nginx的limit_conn模組，用來限制瞬時併發連線數）
• 限制時間視窗內的平均速率（如Guava的RateLimiter、nginx的limit_req模組，限制每秒的平均速率）
• 限制遠端介面呼叫速率
• 限制MQ的消費速率。
• 可以根據網路連線數、網路流量、CPU或記憶體負載等來限流

限流演算法

令牌桶

漏桶

計數器

有時候我們還使用計數器來進行限流，主要用來限制總併發數，比如資料庫連線池、執行緒池、秒殺的併發數；只要全域性總請求數或者一定時間段的總請求數設定的閥值則進行限流，是簡單粗暴的總數量限流，而不是平均速率限流

令牌桶vs漏桶

令牌桶限制的是平均流入速率，允許突發請求，並允許一定程度突發流量
漏桶限制的是常量流出速率，從而平滑突發流入速率

應用級別限流

限流總併發/連線/請求數

如果你使用過Tomcat，其Connector其中一種配置有如下幾個引數:
- acceptCount:如果Tomcat的執行緒都忙於響應，新來的連線會進入佇列排隊，如果超出排隊大小，則拒絕連線
- maxConnections:瞬時最大連線數，超出的會排隊等待
- maxThreads:Tomcat能啟動用來處理請求的最大執行緒數，如果請求處理量一直遠遠大於最大執行緒數則可能會僵死

限流總資源數

可以使用池化技術來限制總資源數：連線池、執行緒池。比如分配給每個應用的資料庫連線是100，那麼本應用最多可以使用100個資源，超出了可以等待或者拋異常

限流某個介面的總併發/請求數

可以使用Java中的AtomicLong，示意程式碼：

try{
if(atomic.incrementAndGet() > 限流數) {
//拒絕請求
}
//處理請求
}finally{
atomic.decrementAndGet();
}

限流某個介面的時間窗請求數

使用Guava的Cache,示意程式碼：

LoadingCache counter =
CacheBuilder.newBuilder()
.expireAfterWrite(2, TimeUnit.SECONDS)
.build(newCacheLoader() {
@Override
publicAtomicLong load(Long seconds)throwsException {
return newAtomicLong(0);
}
});
longlimit =1000;
while(true) {
//得到當前秒longcurrentSeconds = System.currentTimeMillis() /1000;
if(counter.get(currentSeconds).incrementAndGet() > limit) {
System.out.println("限流了:"+ currentSeconds);
continue;
}
//業務處理
}

平滑限流某個介面的請求數

之前的限流方式都不能很好地應對突發請求，即瞬間請求可能都被允許從而導致一些問題；因此在一些場景中需要對突發請求進行整形，整形為平均速率請求處理

Guava框架提供了令牌桶演算法實現

Guava RateLimiter提供了令牌桶演算法實現：平滑突發限流(SmoothBursty)和平滑預熱限流(SmoothWarmingUp)實現

平滑突發限流(SmoothBursty)

RateLimiter limiter = RateLimiter.create(5);
System.out.println(limiter.acquire());
System.out.println(limiter.acquire());
System.out.println(limiter.acquire());
System.out.println(limiter.acquire());
System.out.println(limiter.acquire());
System.out.println(limiter.acquire());
將得到類似如下的輸出：
0.0
0.198239
0.196083
0.200609
0.199599
0.19961

limiter.acquire(5)表示桶的容量為5且每秒新增5個令牌

平滑預熱限流(SmoothWarmingUp)

RateLimiter limiter = RateLimiter.create(5,1000, TimeUnit.MILLISECONDS);
for(inti =1; i <5;i++) {
System.out.println(limiter.acquire());
}
Thread.sleep(1000L);
for(inti =1; i <5;i++) {
System.out.println(limiter.acquire());
}
將得到類似如下的輸出：
0.0
0.51767
0.357814
0.219992
0.199984
0.0
0.360826
0.220166
0.199723
0.199555

SmoothWarmingUp建立方式：RateLimiter.create(doublepermitsPerSecond, long warmupPeriod, TimeUnit unit)
permitsPerSecond表示每秒新增的令牌數，warmupPeriod表示在從冷啟動速率過渡到平均速率的時間間隔。

速率是梯形上升速率的，也就是說冷啟動時會以一個比較大的速率慢慢到平均速率；然後趨於平均速率（梯形下降到平均速率）。可以通過調節warmupPeriod引數實現一開始就是平滑固定速率。

分散式限流

分散式限流最關鍵的是要將限流服務做成原子化,而解決方案可以使使用redis+lua或者nginx+lua技術進行實現

詳見參考文章

接入層限流

接入層通常指請求流量的入口，該層的主要目的有：負載均衡、非法請求過濾、請求聚合、快取、降級、限流、A/B測試、服務質量監控等等

對於Nginx接入層限流可以使用Nginx自帶了兩個模組：連線數限流模組ngx_http_limit_conn_module和漏桶演算法實現的請求限流模組ngx_http_limit_req_module。還可以使用OpenResty提供的Lua限流模組lua-resty-limit-traffic進行更復雜的限流場景。

limit_conn用來對某個KEY對應的總的網路連線數進行限流，可以按照如IP、域名維度進行限流。

limit_req用來對某個KEY對應的請求的平均速率進行限流，並有兩種用法：平滑模式（delay）和允許突發模式(nodelay)。

OpenResty提供的Lua限流模組lua-resty-limit-traffic進行更復雜的限流場景

詳見參考文章

（本文完）

參考自文章