啟動線程數：

啟動線程數=【任務執行時間/（任務執行時間-IO等待時間）】*CPU內核數

最佳啟動線程數和CPU內核數量成正比，和IO阻塞時間成反比。如果任務都是CPU計算型任務，那麽線程數最多不超過CPU內核數，因為啟動再多線程，CPU也來不及調度；相反如果是任務需要等待磁盤操作，網絡響應，那麽多啟動線程有助於提高任務並發度，提高系統吞吐能力，改善系統性能。

單機最大tcp連接數

網絡編程

在tcp應用中，server事先在某個固定端口監聽，client主動發起連接，經過三路握手後建立tcp連接。那麽對單機，其最大並發tcp連接數是多少？

如何標識一個TCP連接

在確定最大連接數之前，先來看看系統如何標識一個tcp連接。系統用一個4四元組來唯一標識一個TCP連接：{local ip, local port,remote ip,remote port}。

client最大tcp連接數

client每次發起tcp連接請求時，除非綁定端口，通常會讓系統選取一個空閑的本地端口（local port），該端口是獨占的，不能和其他tcp連接共享。tcp端口的數據類型是unsigned short，因此本地端口個數最大只有65536，端口0有特殊含義，不能使用，這樣可用端口最多只有65535，所以在全部作為client端的情況下，最大tcp連接數為65535，這些連接可以連到不同的server ip。

server最大tcp連接數

server通常固定在某個本地端口上監聽，等待client的連接請求。不考慮地址重用（unix的SO_REUSEADDR選項）的情況下，即使server端有多個ip，本地監聽端口也是獨占的，因此server端tcp連接4元組中只有remote ip（也就是client ip）和remote port（客戶端port）是可變的，因此最大tcp連接為客戶端ip數×客戶端port數，對IPV4，不考慮ip地址分類等因素，最大tcp連接數約為2的32次方（ip數）×2的16次方（port數），也就是server端單機最大tcp連接數約為2的48次方。

實際的tcp連接數

上面給出的是理論上的單機最大連接數，在實際環境中，受到機器資源、操作系統等的限制，特別是sever端，其最大並發tcp連接數遠不能達到理論上限。在unix/linux下限制連接數的主要因素是內存和允許的文件描述符個數（每個tcp連接都要占用一定內存，每個socket就是一個文件描述符），另外1024以下的端口通常為保留端口。在默認2.6內核配置下，經過試驗，每個socket占用內存在15~20k之間。

影響一個socket占用內存的參數包括：

rmem_max

wmem_max

tcp_rmem

tcp_wmem

tcp_mem

grep skbuff /proc/slabinfo

對server端，通過增加內存、修改最大文件描述符個數等參數，單機最大並發TCP連接數超過10萬 是沒問題的，國外 Urban Airship 公司在產品環境中已做到 50 萬並發 。在實際應用中，對大規模網絡應用，還需要考慮C10K 問題。

原文：

http://wanshi.iteye.com/blog/1256282

http://www.cnblogs.com/Solstice/archive/2011/07/01/2095411.html

http://unix.stackexchange.com/questions/30509/what-is-the-formula-to-determine-how-much-memory-a-socket-consumes-under-linux

http://serverfault.com/questions/10852/what-limits-the-maximum-number-of-connections-on-a-linux-server

http://soft.chinabyte.com/os/285/12349285.shtml

曾幾何時我們還在尋求網絡編程中C10K問題的解決方案，但是現在從硬件和操作系統支持來看單臺服務器支持上萬並發連接已經沒有多少挑戰性了。

我們先假設單臺服務器最多只能支持萬級並發連接，其實對絕大多數應用來說已經遠遠足夠了，但是對於一些擁有很大用戶基數的互聯網公司，往往面臨的並發連接數是百萬，千萬，甚至騰訊的上億（註：QQ默認用的UDP協議）。雖然現在的集群，分布式技術可以為我們將並發負載分擔在多臺服務器上，那我們只需要擴展出數十臺電腦就可以解決問題，但是我們更希望能更大的挖掘單臺服務器的資源，先努力垂直擴展，再進行水平擴展，這樣可以有效的節省服務器相關的開支（硬件資源，機房，運維，電力其實也是一筆不小的開支）。

那麽到底一臺服務器能夠支持多少TCP並發連接呢？

常識一：文件句柄限制

在linux下編寫網絡服務器程序的朋友肯定都知道每一個tcp連接都要占一個文件描述符，一旦這個文件描述符使用完了，新的連接到來返回給我們的錯誤是“Socket/File:Can‘t open so many files”。

這時你需要明白操作系統對可以打開的最大文件數的限制。

• 進程限制

  • 執行 ulimit -n 輸出 1024，說明對於一個進程而言最多只能打開1024個文件，所以你要采用此默認配置最多也就可以並發上千個TCP連接。

  • 臨時修改：ulimit -n 1000000，但是這種臨時修改只對當前登錄用戶目前的使用環境有效，系統重啟或用戶退出後就會失效。

  • 重啟後失效的修改（不過我在CentOS 6.5下測試，重啟後未發現失效）：編輯 /etc/security/limits.conf 文件， 修改後內容為

    * soft nofile 1000000

    * hard nofile 1000000

  • 永久修改：編輯/etc/rc.local，在其後添加如下內容

    ulimit -SHn 1000000

• 全局限制

  • 執行 cat /proc/sys/fs/file-nr 輸出 9344 0 592026，分別為：1.已經分配的文件句柄數，2.已經分配但沒有使用的文件句柄數，3.最大文件句柄數。但在kernel 2.6版本中第二項的值總為0，這並不是一個錯誤，它實際上意味著已經分配的文件描述符無一浪費的都已經被使用了 。

  • 我們可以把這個數值改大些，用 root 權限修改 /etc/sysctl.conf 文件:

    fs.file-max = 1000000

    net.ipv4.ip_conntrack_max = 1000000

    net.ipv4.netfilter.ip_conntrack_max = 1000000

常識二：端口號範圍限制？

操作系統上端口號1024以下是系統保留的，從1024-65535是用戶使用的。由於每個TCP連接都要占一個端口號，所以我們最多可以有60000多個並發連接。我想有這種錯誤思路朋友不在少數吧？（其中我過去就一直這麽認為）

我們來分析一下吧

• 如何標識一個TCP連接：系統用一個4四元組來唯一標識一個TCP連接：{local ip, local port,remote ip,remote port}。好吧，我們拿出《UNIX網絡編程：卷一》第四章中對accept的講解來看看概念性的東西，第二個參數cliaddr代表了客戶端的ip地址和端口號。而我們作為服務端實際只使用了bind時這一個端口，說明端口號65535並不是並發量的限制。

• server最大tcp連接數：server通常固定在某個本地端口上監聽，等待client的連接請求。不考慮地址重用（unix的SO_REUSEADDR選項）的情況下，即使server端有多個ip，本地監聽端口也是獨占的，因此server端tcp連接4元組中只有remote ip（也就是client ip）和remote port（客戶端port）是可變的，因此最大tcp連接為客戶端ip數×客戶端port數，對IPV4，不考慮ip地址分類等因素，最大tcp連接數約為2的32次方（ip數）×2的16次方（port數），也就是server端單機最大tcp連接數約為2的48次方。

總結

TCP/IP 協議規定的，只用了2個字節表示端口號。容易讓人誤解為1個server只允許連接65535個Client。

typedef struct _NETWORK_ADDRESS_IP
{
USHORT sin_port;//0~65535
ULONG in_addr;
UCHAR sin_zero[8];
} NETWORK_ADDRESS_IP, *PNETWORK_ADDRESS_IP;

(1)其實65535這個數字，只是決定了服務器端最多可以擁有65535個Bind的Socket。也就是說，最多可以開65535個服務器進程，但是你要知道這個能夠連接客戶端的數量沒有任何關系，Accept過來的Socket是不需要Bind任何IP地址的，也沒有端口占用這一說。作為Server端的Socket本身只負責監聽和接受連接操作。

(2)TCP協議裏面是用[源IP+源Port+目的IP+目的 Port]來區別兩個不同連接,所以連入和連出是兩個不同的概念。連出Connect就不錯了，需要生成隨機端口，這個是有限的連入的話， 因SOCKET的分配受內存分頁限制，而連接受限制（WINDOWS）。

(3)所以，千萬不要誤以為1個server只允許連接65535個Client。記住，TCP連出受端口限制,連入僅受內存限制。

例如server，IP：192.168.16.254，Port：8009

Client1：IP：192.168.16.1，Port：2378

Client2：IP：192.168.16.2，Port：2378

Client1和Client2雖然Port相同，但是IP不同，所以是不同的連接。

(4)想讓1個server並發高效得連接幾萬個Client，需要使用IOCP“完成端口(Completion Port)”的技術。

詳情請參考文章：http://blog.csdn.net/libaineu2004/article/details/40087167

上面給出的結論都是理論上的單機TCP並發連接數，實際上單機並發連接數肯定要受硬件資源（內存）、網絡資源（帶寬）的限制，至少對我們的需求現在可以做到數十萬級的並發了，你的呢？

這種單臺機器10w並發，不考慮內存cpu的實現，主要是程序網絡模型的選擇。項目在Github上有提供https://github.com/yaocoder/HPNetServer

常見設置

1、修改用戶進程可打開文件數限制

在Linux平臺上，無論編寫客戶端程序還是服務端程序，在進行高並發TCP連接處理時，最高的並發數量都要受到系統對用戶單一進程同時可打開文件數量的限制(這是因為系統為每個TCP連接都要創建一個socket句柄，每個socket句柄同時也是一個文件句柄)。可使用ulimit命令查看系統允許當前用戶進程打開的文件數限制：

[speng@as4 ~]$ ulimit -n
1024

這表示當前用戶的每個進程最多允許同時打開1024個文件，這1024個文件中還得除去每個進程必然打開的標準輸入，標準輸出，標準錯誤，服務器監聽 socket，進程間通訊的unix域socket等文件，那麽剩下的可用於客戶端socket連接的文件數就只有大概1024-10=1014個左右。也就是說缺省情況下，基於Linux的通訊程序最多允許同時1014個TCP並發連接。
對於想支持更高數量的TCP並發連接的通訊處理程序，就必須修改Linux對當前用戶的進程同時打開的文件數量的軟限制(soft limit)和硬限制(hardlimit)。其中軟限制是指Linux在當前系統能夠承受的範圍內進一步限制用戶同時打開的文件數；硬限制則是根據系統硬件資源狀況(主要是系統內存)計算出來的系統最多可同時打開的文件數量。通常軟限制小於或等於硬限制。
修改上述限制的最簡單的辦法就是使用ulimit命令：

[speng@as4 ~]$ ulimit -n

上述命令中，在中指定要設置的單一進程允許打開的最大文件數。如果系統回顯類似於“Operation notpermitted”之類的話，說明上述限制修改失敗，實際上是因為在中指定的數值超過了Linux系統對該用戶打開文件數的軟限制或硬限制。因此，就需要修改Linux系統對用戶的關於打開文件數的軟限制和硬限制。
第一步，修改/etc/security/limits.conf文件，在文件中添加如下行：

...
# End of file
speng soft nofile 10240
speng hard nofile 10240
root soft nofile 65535
root hard nofile 65535
* soft nofile 65535
* hard nofile 65535
[test@iZwz9e1dh1nweaex8ob5b7Z config]$

其中speng指定了要修改哪個用戶的打開文件數限制，可用’*‘號表示修改所有用戶的限制；soft或hard指定要修改軟限制還是硬限制；10240則指定了想要修改的新的限制值，即最大打開文件數(請註意軟限制值要小於或等於硬限制)。修改完後保存文件。
第二步，修改/etc/pam.d/login文件，在文件中添加如下行：

session required /lib/security/pam_limits.so

這是告訴Linux在用戶完成系統登錄後，應該調用pam_limits.so模塊來設置系統對該用戶可使用的各種資源數量的最大限制(包括用戶可打開的最大文件數限制)，而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設置這些限制值。修改完後保存此文件。
第三步，查看Linux系統級的最大打開文件數限制，使用如下命令：

[speng@as4 ~]$ cat /proc/sys/fs/file-max
12158

這表明這臺Linux系統最多允許同時打開(即包含所有用戶打開文件數總和)12158個文件，是Linux系統級硬限制，所有用戶級的打開文件數限制都不應超過這個數值。通常這個系統級硬限制是Linux系統在啟動時根據系統硬件資源狀況計算出來的最佳的最大同時打開文件數限制，如果沒有特殊需要，不應該修改此限制，除非想為用戶級打開文件數限制設置超過此限制的值。修改此硬限制的方法是修改/etc/rc.local腳本，在腳本中添加如下行：

echo 22158 > /proc/sys/fs/file-max

這是讓Linux在啟動完成後強行將系統級打開文件數硬限制設置為22158。修改完後保存此文件。
完成上述步驟後重啟系統，一般情況下就可以將Linux系統對指定用戶的單一進程允許同時打開的最大文件數限制設為指定的數值。如果重啟後用 ulimit-n命令查看用戶可打開文件數限制仍然低於上述步驟中設置的最大值，這可能是因為在用戶登錄腳本/etc/profile中使用ulimit -n命令已經將用戶可同時打開的文件數做了限制。由於通過ulimit-n修改系統對用戶可同時打開文件的最大數限制時，新修改的值只能小於或等於上次 ulimit-n設置的值，因此想用此命令增大這個限制值是不可能的。所以，如果有上述問題存在，就只能去打開/etc/profile腳本文件，在文件中查找是否使用了ulimit-n限制了用戶可同時打開的最大文件數量，如果找到，則刪除這行命令，或者將其設置的值改為合適的值，然後保存文件，用戶退出並重新登錄系統即可。
通過上述步驟，就為支持高並發TCP連接處理的通訊處理程序解除關於打開文件數量方面的系統限制。

2、修改網絡內核對TCP連接的有關限制（參考對比下篇文章“優化內核參數”）

在Linux上編寫支持高並發TCP連接的客戶端通訊處理程序時，有時會發現盡管已經解除了系統對用戶同時打開文件數的限制，但仍會出現並發TCP連接數增加到一定數量時，再也無法成功建立新的TCP連接的現象。出現這種現在的原因有多種。
第一種原因可能是因為Linux網絡內核對本地端口號範圍有限制。此時，進一步分析為什麽無法建立TCP連接，會發現問題出在connect()調用返回失敗，查看系統錯誤提示消息是“Can’t assign requestedaddress”。同時，如果在此時用tcpdump工具監視網絡，會發現根本沒有TCP連接時客戶端發SYN包的網絡流量。這些情況說明問題在於本地Linux系統內核中有限制。其實，問題的根本原因在於Linux內核的TCP/IP協議實現模塊對系統中所有的客戶端TCP連接對應的本地端口號的範圍進行了限制(例如，內核限制本地端口號的範圍為1024~32768之間)。當系統中某一時刻同時存在太多的TCP客戶端連接時，由於每個TCP客戶端連接都要占用一個唯一的本地端口號(此端口號在系統的本地端口號範圍限制中)，如果現有的TCP客戶端連接已將所有的本地端口號占滿，則此時就無法為新的TCP客戶端連接分配一個本地端口號了，因此系統會在這種情況下在connect()調用中返回失敗，並將錯誤提示消息設為“Can’t assignrequested address”。有關這些控制邏輯可以查看Linux內核源代碼，以linux2.6內核為例，可以查看tcp_ipv4.c文件中如下函數：
static int tcp_v4_hash_connect(struct sock *sk)
請註意上述函數中對變量sysctl_local_port_range的訪問控制。變量sysctl_local_port_range的初始化則是在tcp.c文件中的如下函數中設置：
void __init tcp_init(void)
內核編譯時默認設置的本地端口號範圍可能太小，因此需要修改此本地端口範圍限制。
第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_local_port_range = 1024 65000
這表明將系統對本地端口範圍限制設置為1024~65000之間。請註意，本地端口範圍的最小值必須大於或等於1024；而端口範圍的最大值則應小於或等於65535。修改完後保存此文件。
第二步，執行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統沒有錯誤提示，就表明新的本地端口範圍設置成功。如果按上述端口範圍進行設置，則理論上單獨一個進程最多可以同時建立60000多個TCP客戶端連接。
第二種無法建立TCP連接的原因可能是因為Linux網絡內核的IP_TABLE防火墻對最大跟蹤的TCP連接數有限制。此時程序會表現為在 connect()調用中阻塞，如同死機，如果用tcpdump工具監視網絡，也會發現根本沒有TCP連接時客戶端發SYN包的網絡流量。由於 IP_TABLE防火墻在內核中會對每個TCP連接的狀態進行跟蹤，跟蹤信息將會放在位於內核內存中的conntrackdatabase中，這個數據庫的大小有限，當系統中存在過多的TCP連接時，數據庫容量不足，IP_TABLE無法為新的TCP連接建立跟蹤信息，於是表現為在connect()調用中阻塞。此時就必須修改內核對最大跟蹤的TCP連接數的限制，方法同修改內核對本地端口號範圍的限制是類似的：
第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_conntrack_max = 10240
這表明將系統對最大跟蹤的TCP連接數限制設置為10240。請註意，此限制值要盡量小，以節省對內核內存的占用。
第二步，執行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統沒有錯誤提示，就表明系統對新的最大跟蹤的TCP連接數限制修改成功。如果按上述參數進行設置，則理論上單獨一個進程最多可以同時建立10000多個TCP客戶端連接。

3、使用支持高並發網絡I/O的編程技術

在Linux上編寫高並發TCP連接應用程序時，必須使用合適的網絡I/O技術和I/O事件分派機制。
可用的I/O技術有同步I/O，非阻塞式同步I/O(也稱反應式I/O)，以及異步I/O。《BIO,NIO,AIO的理解》

在高TCP並發的情形下，如果使用同步I/O，這會嚴重阻塞程序的運轉，除非為每個TCP連接的I/O創建一個線程。但是，過多的線程又會因系統對線程的調度造成巨大開銷。因此，在高TCP並發的情形下使用同步 I/O是不可取的，這時可以考慮使用非阻塞式同步I/O或異步I/O。非阻塞式同步I/O的技術包括使用select()，poll()，epoll等機制。異步I/O的技術就是使用AIO。
從I/O事件分派機制來看，使用select()是不合適的，因為它所支持的並發連接數有限(通常在1024個以內)。如果考慮性能，poll()也是不合適的，盡管它可以支持的較高的TCP並發數，但是由於其采用“輪詢”機制，當並發數較高時，其運行效率相當低，並可能存在I/O事件分派不均，導致部分TCP連接上的I/O出現“饑餓”現象。而如果使用epoll或AIO，則沒有上述問題(早期Linux內核的AIO技術實現是通過在內核中為每個 I/O請求創建一個線程來實現的，這種實現機制在高並發TCP連接的情形下使用其實也有嚴重的性能問題。但在最新的Linux內核中，AIO的實現已經得到改進)。
綜上所述，在開發支持高並發TCP連接的Linux應用程序時，應盡量使用epoll或AIO技術來實現並發的TCP連接上的I/O控制，這將為提升程序對高並發TCP連接的支持提供有效的I/O保證。

內核參數sysctl.conf的優化

/etc/sysctl.conf 是用來控制linux網絡的配置文件，對於依賴網絡的程序（如web服務器和cache服務器）非常重要，RHEL默認提供的最好調整。

推薦配置（把原/etc/sysctl.conf內容清掉，把下面內容復制進去）：
net.ipv4.ip_local_port_range = 1024 65536
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_window_scaling = 0
net.ipv4.tcp_sack = 0
net.core.netdev_max_backlog = 30000
net.ipv4.tcp_no_metrics_save=1
net.core.somaxconn = 262144
net.ipv4.tcp_syncookies = 0
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2

這個配置參考於cache服務器varnish的推薦配置和SunOne 服務器系統優化的推薦配置。

varnish調優推薦配置的地址為：http://varnish.projects.linpro.no/wiki/Performance

不過varnish推薦的配置是有問題的，實際運行表明“net.ipv4.tcp_fin_timeout = 3”的配置會導致頁面經常打不開；並且當網友使用的是IE6瀏覽器時，訪問網站一段時間後，所有網頁都會打不開，重啟瀏覽器後正常。可能是國外的網速快吧，我們國情決定需要調整“net.ipv4.tcp_fin_timeout = 10”，在10s的情況下，一切正常（實際運行結論）。

修改完畢後，執行：
/sbin/sysctl -p /etc/sysctl.conf
/sbin/sysctl -w net.ipv4.route.flush=1

命令生效。為了保險起見，也可以reboot系統。

調整文件數：
linux系統優化完網絡必須調高系統允許打開的文件數才能支持大的並發，默認1024是遠遠不夠的。

執行命令：
Shell代碼
echo ulimit -HSn 65536 >> /etc/rc.local
echo ulimit -HSn 65536 >>/root/.bash_profile
ulimit -HSn 65536

備註：
對mysql用戶可同時打開文件數設置為10240個；
將Linux系統可同時打開文件數設置為1000000個（一定要大於對用戶的同時打開文件數限制）；
將Linux系統對最大追蹤的TCP連接數限制為20000個（但是，建議設置為10240；因為對mysql用戶的同時打開文件數已經限制在10240個；且較小的值可以節省內存）；
將linux系統端口範圍配置為1024～30000（可以支持60000個以上連接，不建議修改；默認已經支持20000個以上連接）；

綜合上述四點，TCP連接數限制在10140個。
這10240個文件中還得除去每個進程必然打開的標準輸入，標準輸出，標準錯誤，服務器監聽 socket，進程間通訊的unix域socket等文件。

因此，當需要對TCP連接數進行調整時只需要調整ulimit參數。

Linux下查看tcp連接數及狀態命令：

netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}‘

服務器最大TCP連接數及調優匯總