事情起因是有臺生產環境的伺服器down了，ssh連線不上去。就在大家準備去機房檢查該機器的時候，突然又可以ssh登入了。但是隻有一個同事成功登入，其他人依然無法連線。在成功登入的同事終端上執行任何命令，都會報如下錯誤：

# free
-bash: fork: Cannot allocate memory

這就很尷尬了：啥都沒法調查。
後來多試驗幾次，偶爾能執行成功：

# free
total        used        free      shared  buff/cache   available
Mem:        7814784      340028     6688016        9488      786740     7244604
Swap:       2097148           0     2097148

可以看出memory還有很多，不可能是記憶體耗盡問題。
當時想不通是啥情況。 今天查詢資料無意中發現：當環境中有過多process，超過pid max可能會導致這個報錯。
於是試驗了下：


1.  查詢pid_max值並修改（原來值挺大，為了測試改小點）

# sysctl kernel.pid_max
kernel.pid_max = 32768
# sysctl -w kernel.pid_max=500
kernel.pid_max = 500
 

2. 測試
# cat test.c 

#include <unistd.h>  
#include <stdio.h>   
int main ()   
{   
    pid_t fpid; //fpid表示fork函式返回的值  
    int count=0;
    while(1) { 
        fpid=fork();   
        if (fpid < 0) {   
            printf("error in fork!\n");
            break;
        }
        else if (fpid == 0) {
            count++;
        } else {
	    sleep(100);
	    return 0;
        }
    }
    printf("count is %d\n", count);
    return 0;
}
 

編譯後執行

# gcc test.c; ./a.out 
error in fork!
count is 172

3. 此時再用其他終端試圖ssh該測試環境，發現無法登入。


4. 在其他已經連線該測試環境的終端（執行a.out之前就連線好）試圖執行free或者其他命令，結果報錯-bash: fork: Cannot allocate memory


至此可以初步得出結論：確實pid max用盡會導致fork問題。
解決辦法就是修改pid max
上文提到的sysctl -w 修改只是臨時修改，重啟後會丟失。

永久修改方法：

# echo "kernel.pid_max=99999" >> /etc/sysctl.conf
 

# sysctl -p

P.S.

64位系統上pid_max最大值為2^22，32位系統上最大值為32768