1. 程式人生 > >如何使Linux系統支援更高的併發

如何使Linux系統支援更高的併發

概述

在伺服器硬體資源額定有限的情況下,最大的壓榨伺服器的效能,提高伺服器的併發處理能力,是很多運維技術人員思考的問題。要提高Linux系統下的負載能力,可以使用Nginx等原生併發處理能力就很強的Web伺服器,如果使用Apache的可以啟用其Worker模式,來提高其併發處理能力。除此之外,在考慮節省成本的情況下,可以修改Linux的核心相關TCP引數,來最大的提高伺服器效能。當然,最基礎的提高負載問題,還是升級伺服器硬體了,這是最根本的。

Linux系統下,TCP連線斷開後,會以TIME_WAIT狀態保留一定的時間,然後才會釋放埠。當併發請求過多的時候,就會產生大量的TIME_WAIT狀態的連線,無法及時斷開的話,會佔用大量的埠資源和伺服器資源。這個時候我們可以優化TCP的核心引數,來及時將TIME_WAIT狀態的埠清理掉。

本文介紹的方法只對擁有大量TIME_WAIT狀態的連線導致系統資源消耗有效,如果不是這種情況下,效果可能不明顯。可以使用netstat命令去查TIME_WAIT狀態的連線狀態,輸入下面的組合命令,檢視當前TCP連線的狀態和對應的連線數量:

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 

這個命令會輸出類似下面的結果:

LAST\_ACK 16
SYN\_RECV 348
ESTABLISHED 70
FIN\_WAIT1 229
FIN\_WAIT2 30
CLOSING 33
TIME\_WAIT 18098

我們只用關心TIME_WAIT的個數,在這裡可以看到,有18000多個TIME_WAIT,這樣就佔用了18000多個埠。要知道埠的數量只有65535個,佔用一個少一個,會嚴重的影響到後繼的新連線。這種情況下,我們就有必要調整下Linux的TCP核心引數,讓系統更快的釋放TIME_WAIT連線。

修改方式
修改:

vim /etc/sysctl.conf
在這個檔案中,加入下面的幾行內容:
net.ipv4.tcp\_syncookies = 1
net.ipv4.tcp\_tw\_reuse = 1
net.ipv4.tcp\_tw\_recycle = 1
net.ipv4.tcp\_fin\_timeout = 30

輸入下面的命令,讓核心引數生效:

sysctl -p

解釋:
簡單的說明上面的引數的含義:

net.ipv4.tcp\_syncookies = 1
表示開啟SYN Cookies。當出現SYN等待佇列溢位時,啟用cookies來處理,可防範少量SYN攻擊,預設為0,表示關閉;
net.ipv4.tcp\_tw\_reuse = 1
表示開啟重用。允許將TIME-WAIT sockets重新用於新的TCP連線,預設為0,表示關閉;
net.ipv4.tcp\_tw\_recycle = 1
表示開啟TCP連線中TIME-WAIT sockets的快速回收,預設為0,表示關閉;
net.ipv4.tcp\_fin\_timeout
修改系統預設的 TIMEOUT 時間。在經過這樣的調整之後,除了會進一步提升伺服器的負載能力之外,還能夠防禦小流量程度的DoS、CC和SYN攻擊。

修改:
此外,如果你的連線數本身就很多,我們可以再優化一下TCP的可使用埠範圍,進一步提升伺服器的併發能力。依然是往上面的引數檔案中,加入下面這些配置:

net.ipv4.tcp\_keepalive\_time = 1200
net.ipv4.ip\_local\_port\_range = 10000 65000
net.ipv4.tcp\_max\_syn\_backlog = 8192
net.ipv4.tcp\_max\_tw\_buckets = 5000

解釋:

這幾個引數,建議只在流量非常大的伺服器上開啟,會有顯著的效果。一般的流量小的伺服器上,沒有必要去設定這幾個引數。
net.ipv4.tcp\_keepalive\_time = 1200
表示當keepalive起用的時候,TCP傳送keepalive訊息的頻度。預設是2小時,改為20分鐘。
net.ipv4.ip\_local\_port\_range = 10000 65000
表示用於向外連線的埠範圍。預設情況下很小:32768到61000,改為10000到65000。(注意:這裡不要將最低值設的太低,否則可能會佔用掉正常的埠!)
net.ipv4.tcp\_max\_syn\_backlog = 8192
表示SYN佇列的長度,預設為1024,加大佇列長度為8192,可以容納更多等待連線的網路連線數。
net.ipv4.tcp\_max\_tw\_buckets = 6000
表示系統同時保持TIME\_WAIT的最大數量,如果超過這個數字,TIME\_WAIT將立刻被清除並列印警告資訊。默 認為180000,改為6000。對於Apache、Nginx等伺服器,上幾行的引數可以很好地減少TIME\_WAIT套接字數量,但是對於 Squid,效果卻不大。此項引數可以控制TIME\_WAIT的最大數量,避免Squid伺服器被大量的TIME\_WAIT拖死。

核心其他TCP引數說明:

net.ipv4.tcp\_max\_syn\_backlog = 65536
 記錄的那些尚未收到客戶端確認資訊的連線請求的最大值。對於有128M記憶體的系統而言,預設值是1024,小記憶體的系統則是128。

net.core.netdev\_max\_backlog = 32768
 每個網路介面接收資料包的速率比核心處理這些包的速率快時,允許送到佇列的資料包的最大數目。

net.core.somaxconn = 32768
 web應用中listen函式的backlog預設會給我們核心引數的net.core.somaxconn限制到128,而nginx定義的NGX\_LISTEN\_BACKLOG預設為511,所以有必要調整這個值。

net.core.wmem\_default = 8388608
net.core.rmem\_default = 8388608
net.core.rmem\_max = 16777216
 最大socket讀buffer,可參考的優化值:873200

net.core.wmem\_max = 16777216
 最大socket寫buffer,可參考的優化值:873200

net.ipv4.tcp\_timestsmps = 0
 時間戳可以避免序列號的卷繞。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓核心接受這種“異常”的資料包。這裡需要將其關掉。

net.ipv4.tcp\_synack\_retries = 2
 為了開啟對端的連線,核心需要傳送一個SYN並附帶一個迴應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設定決定了核心放棄連線之前傳送SYN+ACK包的數量。

net.ipv4.tcp\_syn\_retries = 2
 在核心放棄建立連線之前傳送SYN包的數量。

 net.ipv4.tcp\_tw\_len = 1
net.ipv4.tcp\_tw\_reuse = 1
  開啟重用。允許將TIME-WAIT sockets重新用於新的TCP連線。

net.ipv4.tcp\_wmem = 8192 436600 873200
  TCP寫buffer,可參考的優化值: 8192 436600 873200

net.ipv4.tcp\_rmem = 32768 436600 873200
  TCP讀buffer,可參考的優化值: 32768 436600 873200

net.ipv4.tcp\_mem = 94500000 91500000 92700000
  同樣有3個值,意思是:
net.ipv4.tcp\_mem[0]:低於此值,TCP沒有記憶體壓力。
net.ipv4.tcp\_mem[1]:在此值下,進入記憶體壓力階段。
net.ipv4.tcp\_mem[2]:高於此值,TCP拒絕分配socket。
上述記憶體單位是頁,而不是位元組。可參考的優化值是:786432 1048576 1572864

net.ipv4.tcp\_max\_orphans = 3276800
 系統中最多有多少個TCP套接字不被關聯到任何一個使用者檔案控制代碼上。
如果超過這個數字,連線將即刻被複位並打印出警告資訊。
這個限制僅僅是為了防止簡單的DoS攻擊,不能過分依靠它或者人為地減小這個值,
更應該增加這個值(如果增加了記憶體之後)。

net.ipv4.tcp\_fin\_timeout = 30
 如果套接字由本端要求關閉,這個引數決定了它保持在FIN-WAIT-2狀態的時間。對端可以出錯並永遠不關閉連線,甚至意外當機。預設值是60秒。2.2 核心的通常值是180秒,你可以按這個設定,但要記住的是,即使你的機器是一個輕載的WEB伺服器,也有因為大量的死套接字而記憶體溢位的風險,FIN- WAIT-2的危險性比FIN-WAIT-1要小,因為它最多隻能吃掉1.5K記憶體,但是它們的生存期長些。經過這樣的優化配置之後,你的伺服器的TCP併發處理能力會顯著提高。以上配置僅供參考,用於生產環境請根據自己的實際情況。