背景：

專案上線後發現Telnet模組在穩定執行一段時間後會自動斷開，無法登陸，後臺丟擲：“java.net.SocketException: Too many open files”異常。

環境：
Java程式碼

1. Linux版本：cat /proc/version 
2. Linux version 2.6.18-164.el5 (mockbuild@x86-003.build.bos.redhat.com) (gcc version 4.1.220080704 (Red Hat 4.1.2-46)) #1 SMP Tue Aug 1815:51:48 EDT 2009
3. Weblogic:10.3
4. JDK:jrockit-jdk1.6
   .0_29-R28.2.2-4.1.0

Linux版本：cat /proc/version

Linux version 2.6.18-164.el5 ([email protected]) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-46)) #1 SMP Tue Aug 18 15:51:48 EDT 2009

Weblogic:10.3
JDK:jrockit-jdk1.6.0_29-R28.2.2-4.1.0

原因有以下兩個：

1、開啟的Socket客戶端並沒有正常關閉，此處可能是自動超時功能有問題或者網路突然斷開等。

2、Linux預設設定的檔案最大開啟數太小（預設值：1024，使用：ulimit -n 命令檢視）。

基於以上兩點，故從以下三個方面著手解決：1、作業系統Linux 2、應用伺服器Weblogic 3、程式

配置Linux檔案最大開啟數：

Java程式碼

1. /etc/security/limits.conf：在該檔案的最後加入，最大檔案開啟數： 
2. * soft nofile 65535
3. * hard nofile 65535
4. /etc/pam.d/login：在該檔案的最後加入： 
5. session required /lib/security/pam_limits.so 
6. 重新登入後使用命令檢視：ulimit -n，是否和設定保持一致 

/etc/security/limits.conf：在該檔案的最後加入，最大檔案開啟數：

* soft nofile 65535
* hard nofile 65535

/etc/pam.d/login：在該檔案的最後加入：

session required /lib/security/pam_limits.so

重新登入後使用命令檢視：ulimit -n，是否和設定保持一致

 

3、修改Weblogic最大檔案控制代碼數：(重啟服務後生效)
Java程式碼

1. bea/wlserver_10.3/common/bin/commEnv.sh 
2. # limit the number of open file descriptors 
3. resetFd() { 
4.   if [ ! -n "`uname -s |grep -i cygwin || uname -s |grep -i windows_nt || \ 
5.        uname -s |grep -i HP-UX`" ] 
6.   then 
7.     ofiles=`ulimit -S -n` 
8.     maxfiles=`ulimit -H -n` 
9.     if [ "$?" = "0" -a  `expr ${maxfiles} : '[0-9][0-9]*$'` -eq 0 -a `expr ${ofiles} : '[0-9][0-9]*$'` -eq 0 ]; then    
10.       ulimit -n 65535
11.     fi 
12.   fi 
13. } 

bea/wlserver_10.3/common/bin/commEnv.sh

# limit the number of open file descriptors
resetFd() {
  if [ ! -n "`uname -s |grep -i cygwin || uname -s |grep -i windows_nt || \
       uname -s |grep -i HP-UX`" ]
  then
    ofiles=`ulimit -S -n`
    maxfiles=`ulimit -H -n`
    if [ "$?" = "0" -a  `expr ${maxfiles} : '[0-9][0-9]*$'` -eq 0 -a `expr ${ofiles} : '[0-9][0-9]*$'` -eq 0 ]; then   
      ulimit -n 65535
    fi
  fi
}

4、優化 Linux TCP 配置：
Java程式碼

1. /etc/sysctl.conf 
2. # 2012-04-09 begin 
3. ## 允許將TIME-WAIT sockets重新用於新的TCP連線，預設為0，表示關閉； 
4. net.ipv4.tcp_tw_reuse = 1
5. ## 表示開啟TCP連線中TIME-WAIT sockets的快速回收，預設為0，表示關閉； 
6. net.ipv4.tcp_tw_recycle = 1
7. ##  修改系統預設的 TIMEOUT 時間 
8. net.ipv4.tcp_fin_timeout = 30
9. ## 表示當keepalive起用的時候，TCP傳送keepalive訊息的頻度。預設是2小時 
10. net.ipv4.tcp_keepalive_time = 1800
11. ## TCP傳送keepalive探測以確定該連線已經斷開的次數 
12. net.ipv4.tcp_keepalive_probes = 5
13. ## 探測訊息傳送的頻率，乘以tcp_keepalive_probes就得到對於從開始探測以來沒有響應的連線殺除的時間。 
14. net.ipv4.tcp_keepalive_intvl = 15
15. ## 表示SYN佇列的長度，預設為1024，可以容納更多等待連線的網路連線數 
16. net.ipv4.tcp_max_syn_backlog = 4096
17. ## 最大檔案控制代碼數 
18. fs.file-max=65535
19. # 2012-04-09 end 
20. # /sbin/sysctl -p 使上述配置生效命令 

/etc/sysctl.conf

# 2012-04-09 begin

## 允許將TIME-WAIT sockets重新用於新的TCP連線，預設為0，表示關閉；
net.ipv4.tcp_tw_reuse = 1

## 表示開啟TCP連線中TIME-WAIT sockets的快速回收，預設為0，表示關閉；
net.ipv4.tcp_tw_recycle = 1

##  修改系統預設的 TIMEOUT 時間
net.ipv4.tcp_fin_timeout = 30

## 表示當keepalive起用的時候，TCP傳送keepalive訊息的頻度。預設是2小時
net.ipv4.tcp_keepalive_time = 1800

## TCP傳送keepalive探測以確定該連線已經斷開的次數
net.ipv4.tcp_keepalive_probes = 5

## 探測訊息傳送的頻率，乘以tcp_keepalive_probes就得到對於從開始探測以來沒有響應的連線殺除的時間。
net.ipv4.tcp_keepalive_intvl = 15

## 表示SYN佇列的長度，預設為1024，可以容納更多等待連線的網路連線數
net.ipv4.tcp_max_syn_backlog = 4096

## 最大檔案控制代碼數
fs.file-max=65535

# 2012-04-09 end

# /sbin/sysctl -p 使上述配置生效命令

5、Java Socket程式中，增加如下配置：
Java程式碼

1. socket.setTcpNoDelay(true); // 關閉Nagle演算法, 立即發包
2. socket.setKeepAlive(true); 

socket.setTcpNoDelay(true); // 關閉Nagle演算法, 立即發包
socket.setKeepAlive(true);

6、常用Linux命令：（個人備忘）
Java程式碼

1. 1、檢視程序：ps -ef|grep [java、tomcat、weblogic] 
2. 2、檢視某埠TCP連線佔用數：netstat -pnt | grep :6666 |wc -l 
3. 3、檢視某埠TCP連線佔用資訊：lsof -i :6666
4. 4、檢視TCP連線狀態以及數量：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
5. 5、檢視所有程序佔用的檔案控制代碼數：lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more 
6. 6、檢視某程序所屬服務：ps -aef|grep 24204

1、檢視程序：ps -ef|grep [java、tomcat、weblogic]
2、檢視某埠TCP連線佔用數：netstat -pnt | grep :6666 |wc -l
3、檢視某埠TCP連線佔用資訊：lsof -i :6666
4、檢視TCP連線狀態以及數量：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
5、檢視所有程序佔用的檔案控制代碼數：lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more
6、檢視某程序所屬服務：ps -aef|grep 24204

9、優化結果
總共83把手持裝置，現在24小時作業每天的TCP連線數保持在：70左右。以前一到600多系統就宕機了。