核心引數詳解

長期更新

SYN_RECV

服務端收到sys，還未發出syn+ack
1.net.ipv4.tcp_synack_retries
預設值5，linux對應1+2+4+..32=2^6-1=63s

2.net.ipv4.tcp_syncookies
應該設定為1，防止SYN Flood。
處在SYN_RECV的TCP連線稱為半連線，儲存在SYN佇列。大量SYN_RECV會導致佇列溢位，後續請求將被核心直接丟棄，也就是SYN Flood攻擊。
開啟syncookies後，當SYN佇列滿了後，TCP會通過原地址埠，目的地址埠和時間戳打造一個特別的Sequence Number(又叫cookie)發回去，如果是攻擊者則不會有響應，如果是正常連線則把這個SYNCookie發回來，然後伺服器端可以通過cookie建立連線(即使不在SYN佇列)。
別用tcp_syncookies來處理正常大負載連線

CLOSE_WAIT

被動關閉的一方收到FIN後傳送ACK處於CLOSE_WAIT狀態。出現這種狀態比較多時，一般都是沒有及時close()導致的，預設將持續2小時。

TIME_WAIT

主動關閉一方，socket將在TIME_WAIT等待2msl時間。
1.net.ipv4.tcp_fin_timeout
預設值60，TCP保持在FIN_WAIT2狀態的時間，超時後直接處於CLOSED，所以降低tcp_fin_timeout有助於減少TIME_WAIT數量。注意：雖然shutdown(SHUD_WR)也會處於FIN_WAIT2狀態，但超時並不起作用。

2.net.ipv4.tcp_tw_recycle
預設值0,開啟快速TIME_WAIT socket回收。
如果tcp_timestamps開啟的話，會快取每個連線的最新時間戳，如果後續請求時間戳小於快取的時間戳，即視為無效，相應的包被丟棄。所以如果是nat或負載均衡環境下，就可能出現數據包丟棄的現象。

3.net.ipv4.tcp_tw_resue
預設值0，是否重用TIME_WAIT狀態的socket用於新的連線
這個選項要比tcp_tw_recycle安全，從協議的角度看，複用是安全的。
網上查詢的複用條件:

1.tcp_timestamps選項必須開啟(客戶端也必須開啟)
2.重用TIME_WAIT的條件是收到最後一個包後超過1s

4.net.ipv4.tcp_timestamps
預設值1，tcp增加時間戳，可避免序列號的環繞，更精確的RTT計算，為了更好的效能應該啟用這個選項。

5.net.ipv4.tcp_max_tw_buckets
預設值180000，TIME_WAIT的上限。

TCP優化

1.net.ipv4.tcp_moderate_rcvbuf
預設值1，是否自動調節TCP接收緩衝區大小，當程式設計中設定了SO_SNDBUF,SO_RCVBUF將會使核心不對這些連線執行自動調節。
2. net.ipv4.tcp_adv_win_scale
預設值2，將拿出1/(2^tcp_adv_win_scale)快取做應用讀快取，那麼最大的接受滑動視窗只能到達讀快取的3/4。

3.net.ipv4.tcp_rmem
4096 87380 6291456
第一個是接受緩衝區最小位元組
第二個是接受緩衝區長度初始值，用來初始化sock的sk_rcvbuf，將取代rmem_default
第三個是接受緩衝區長度最大值，用來調整sock的sk_rcvbuf

4.net.core.rmem_default
適用所有協議的預設接受視窗大小(位元組)
接受視窗(rwnd)合理值取決於BDP(頻寬和延遲的乘積),假設頻寬100Mbps，延遲100ms
BDP= (100Mbps/8) * (100/1000) = 1.25M
由於有tcp_adv_win_scale額外開銷，所以快取的合理值為:
BDP/(1-1/(2^tcp_adv_win_scale))

5.net.ipv4.tcp_window_scaling
預設值1，是否啟用windows scaling，若要支援超過64KB的視窗，必須啟用。

6.net.ipv4.tcp_sack
預設值1，是否開啟sack(selective ack)，報告收到的資料碎片，解決快速重傳不知道後續資料是否重傳的問題。

擁塞視窗

擁塞視窗(cwnd)是傳送端一個內部引數，用來避免網路擁塞，
通過慢啟動快速增加cwnd，Linux2.6核心初始為3*MSS，為了提高傳輸效率，Linux3.0以後為10*MSS，可通過以下命令修改

[[email protected]10-9-22-239 ~]# ip route show
default via 10.9.0.1 dev eth0 
10.9.0.0/16 dev eth0  proto kernel  scope link  src 10.9.22.239 
172.17.0.0/16 dev docker0  proto kernel  scope link  src 172.17.42.1 
[[email protected]10-9-22-239 ~]# ip route change default via 10.9.0.1 dev eth0 initcwnd 10
[[email protected]10-9-22-239 ~]# ip route show
default via 10.9.0.1 dev eth0  initcwnd 10
10.9.0.0/16 dev eth0  proto kernel  scope link  src 10.9.22.239 
172.17.0.0/16 dev docker0  proto kernel  scope link  src 172.17.42.1

Out of socket memory

原因

1.有很多孤兒(orphan)socket
2.tcp socket用盡了分配的記憶體
tcp socket使用page計數,linux預設4096bytes

getconf PAGESIZE

1./proc/net/ipv4/tcp_mem
365664 487552 731328
當使用小於365664 page時，kernel不對其進行干預
當使用超過487552 page時，kernel進入”memory pressure”
當tcp使用超過731328時，會報：Out of socket memory

2./proc/net/sockstat

sockets: used 307
TCP: inuse 13 orphan 0 tw 0 alloc 34 mem 6
UDP: inuse 6 mem 2
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0

可通過對比tcp_mem檢視當前socket記憶體狀態。

孤兒(orphan)socket

1.FIN_WAIT1和LAST_ACK狀態連線就是孤兒socket
2.FIN_WAIT2加入tw狀態統計，而不是orphan socket
3.CLOSE_WAIT既不假如orphan統計也不加入tw統計

fs

1.fs.file-max
系統所能開啟的最大檔案數
fs.file-max代表系統級別能夠開啟的檔案控制代碼，ulimit -n控制使用者程序所能開啟的數量
設定多少比較合適，建議：記憶體/10k

grep -r MemTotal /proc/meminfo | awk '{printf("%d",$2/10)}'

2.fs.file-nr 只讀檔案
1984 0 65535
第一個代表了目前分配的檔案控制代碼數，第三個代表了系統分配的最大檔案控制代碼數(同file-max)
file-nr一般會小於lsof | wc -l，但數量級是一致的。

vm

1.vm.dirty_background_ratio
預設值10
kdmflush守護程序負責同步所有與檔案系統相關的頁面至磁碟，當記憶體中的髒頁面數量超過10%時kdmflush開始回寫。

kswapd

kswapd守護程序負責確保記憶體保持可用空閒空間，它監控核心中pages_high和page_low標準，如果空閒記憶體空間小於pages_low，kswapd開始掃描並嘗試每次回收32個頁面，直到空閒記憶體大於pages_high。
kswapd執行以下操作：

1.假如頁面未改變，它將該頁面放入free list
2.假如頁面改變且被檔案系統回寫，它將頁面寫入磁碟
2.假如頁面改變且未被檔案系統回寫，它將頁面寫入swap裝置

buff:供read()和write()使用的實體記憶體緩衝大小
cache:對映到程序地址空間的實體記憶體數

1.當大量的資料從磁碟讀入記憶體(bi),cache值將不斷增加
2.vmstat中swapd值不斷增大，說明kswapd正將髒頁面寫入交換空間(so)
3.buff值不斷減少，說明kswapd正不斷回收記憶體

參考文章