1. 程式人生 > >linux 磁碟空間被佔滿但找不到目標檔案的問題處理 lsof命令

linux 磁碟空間被佔滿但找不到目標檔案的問題處理 lsof命令

lsof簡介

在終端下輸入lsof即可顯示系統開啟的檔案,因為 lsof 需要訪問核心記憶體和各種檔案,所以必須以 root 使用者的身份執行它才能夠充分地發揮其功能。

直接輸入lsof部分輸出為:

 

每行顯示一個開啟的檔案,若不指定條件預設將顯示所有程序開啟的所有檔案。

lsof輸出各列資訊的意義如下:

  COMMAND:程序的名稱

  PID: 程序識別符號

  USER:程序所有者

  FD: 檔案描述符,應用程式通過檔案描述符識別該檔案。如cwd、txt等 TYPE:檔案型別,如DIR、REG等

  DEVICE:指定磁碟的名稱

  SIZE:檔案的大小

  NODE:索引節點(檔案在磁碟上的標識)

  NAME:開啟檔案的確切名稱

FD 列中的檔案描述符cwd 值表示應用程式的當前工作目錄,這是該應用程式啟動的目錄,除非它本身對這個目錄進行更改,txt 型別的檔案是程式程式碼,如應用程式二進位制檔案本身或共享庫,如上列表中顯示的 /sbin/init 程式。

其次數值表示應用程式的檔案描述符,這是開啟該檔案時返回的一個整數。初始開啟每個應用程式時,都具有三個檔案描述符,從 0 到 2,分別表示標準輸入、輸出和錯誤流。

與 FD 列相比,Type 列則比較直觀。檔案和目錄分別稱為 REG 和 DIR。而CHR 和 BLK,分別表示字元和塊裝置;或者 UNIX、FIFO 和 IPv4,分別表示 UNIX 域套接字、先進先出 (FIFO) 佇列和網際協議 (IP) 套接字。

 

lsof使用例項

(1) 查詢誰在使用檔案系統

在解除安裝檔案系統時,如果該檔案系統中有任何開啟的檔案,操作通常將會失敗。那麼通過lsof可以找出那些程序在使用當前要解除安裝的檔案系統,如下:
# lsof /GTES11

COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME 
bash 4208 root cwd DIR 3,1 4096 2 /GTES11/ 
vim 4230 root cwd DIR 3,1 4096 2 /GTES11/
在這個示例中,使用者root正在其/GTES11目錄中進行一些操作。一個 bash是例項正在執行,並且它當前的目錄為/GTES11,另一個則顯示的是vim正在編輯/GTES11下的檔案。要成功地解除安裝/GTES11,應該在通知使用者以確保情況正常之後,中止這些程序。 這個示例說明了應用程式的當前工作目錄非常重要,因為它仍保持著檔案資源,並且可以防止檔案系統被解除安裝。這就是為什麼大部分守護程序(後臺程序)將它們的目錄更改為根目錄、或服務特定的目錄(如 sendmail 示例中的 /var/spool/mqueue)的原因,以避免該守護程序阻止解除安裝不相關的檔案系統。

 

(2) 恢復刪除的檔案

當Linux計算機受到入侵時,常見的情況是日誌檔案被刪除,以掩蓋攻擊者的蹤跡。管理錯誤也可能導致意外刪除重要的檔案,比如在清理舊日誌時,意外地刪除了資料庫的活動事務日誌。有時可以通過lsof來恢復這些檔案。

當程序打開了某個檔案時,只要該程序保持開啟該檔案,即使將其刪除,它依然存在於磁碟中。這意味著,程序並不知道檔案已經被刪除,它仍然可以向開啟該檔案時提供給它的檔案描述符進行讀取和寫入。除了該程序之外,這個檔案是不可見的,因為已經刪除了其相應的目錄索引節點。

在/proc 目錄下,其中包含了反映核心和程序樹的各種檔案。/proc目錄掛載的是在記憶體中所對映的一塊區域,所以這些檔案和目錄並不存在於磁碟中,因此當我們對這些檔案進行讀取和寫入時,實際上是在從記憶體中獲取相關資訊。大多數與 lsof 相關的資訊都儲存於以程序的 PID 命名的目錄中,即 /proc/1234 中包含的是 PID 為 1234 的程序的資訊。每個程序目錄中存在著各種檔案,它們可以使得應用程式簡單地瞭解程序的記憶體空間、檔案描述符列表、指向磁碟上的檔案的符號連結和其他系統資訊。lsof 程式使用該資訊和其他關於核心內部狀態的資訊來產生其輸出。所以lsof 可以顯示程序的檔案描述符和相關的檔名等資訊。也就是我們通過訪問程序的檔案描述符可以找到該檔案的相關資訊。

當系統中的某個檔案被意外地刪除了,只要這個時候系統中還有程序正在訪問該檔案,那麼我們就可以通過lsof從/proc目錄下恢復該檔案的內容。

假如由於誤操作將/var/log/messages檔案刪除掉了,那麼這時要將/var/log/messages檔案恢復的方法如下:

首先使用lsof來檢視當前是否有程序開啟/var/logmessages檔案,如下:
# lsof |grep /var/log/messages 

syslogd 1283 root 2w REG 3,3 5381017 1773647 /var/log/messages (deleted)

從上面的資訊可以看到 PID 1283(syslogd)開啟檔案的檔案描述符為 2。同時還可以看到/var/log/messages已經標記被刪除了。因此我們可以在 /proc/1283/fd/2 (fd下的每個以數字命名的檔案表示程序對應的檔案描述符)中檢視相應的資訊,如下:

# head -n 10 /proc/1283/fd/2 

Aug 4 13:50:15 holmes86 syslogd 1.4.1: restart. 
Aug 4 13:50:15 holmes86 kernel: klogd 1.4.1, log source = /proc/kmsg started. 
Aug 4 13:50:15 holmes86 kernel: Linux version 2.6.22.1-8 ([email protected]) (gcc version 4.2.0) #1 SMP Wed Jul 18 11:18:32 EDT 2007 Aug 4 13:50:15 holmes86 kernel: BIOS-provided physical RAM map: Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000000000 - 000000000009f000 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000000009f000 - 00000000000a0000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000100000 - 000000001f7d3800 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000001f7d3800 - 0000000020000000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000e0000000 - 00000000f0007000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000f0008000 - 00000000f000c000 (reserved)
從上面的資訊可以看出,檢視 /proc/8663/fd/2 就可以得到所要恢復的資料。如果可以通過檔案描述符檢視相應的資料,那麼就可以使用 I/O 重定向將其複製到檔案中,如:
# cat /proc/1283/fd/2 > /var/log/messages
對於許多應用程式,尤其是日誌檔案和資料庫,這種恢復刪除檔案的方法非常有用。

 

(3) 磁碟空間被佔滿,檔案已經刪除,但是空間未被釋放的問題

磁碟空間已滿,但是找不到佔空間的檔案。空間沒釋放 或者說 inode 用完,用以下命令檢視

# df -Th

Filesystem                      Type   Size  Used Avail Use% Mounted on

/dev/mapper/vg_mysql120-lv_root ext4    50G   45G  1.8G  97% /

tmpfs                           tmpfs   32G     0   32G   0% /dev/shm

/dev/sda1                       ext4   485M   32M  428M   7% /boot

/dev/mapper/vg_mysql120-lv_home ext4   468G   78G  367G  18% /home

# df -i

Filesystem                        Inodes IUsed    IFree IUse% Mounted on

/dev/mapper/vg_mysql120-lv_root  3276800 32722  3244078    1% /

tmpfs                            8224606     1  8224605    1% /dev/shm

/dev/sda1                         128016    38   127978    1% /boot

/dev/mapper/vg_mysql120-lv_home 31129600 19867 31109733    1% /home

注:在生產環境常見的問題就是,有維護人員或者開發同事使用tail命令實時檢視日誌。然後另外的人使用rm命令刪除,這有就好導致磁碟空間不會真正的釋放,因為你要刪除的檔案,還有程序在使用,檔案控制代碼沒有釋放,即tail

檔案控制代碼以及空間釋放問題

# lsof |grep deleted             --檢視

如果你知道檔名,那就可以直接使用如下命令

# lsof |grep  testfile

但是如果你不知道是哪個檔案,或者是很多檔案都有這樣的情況,那你需要使用如下命令

注:這個deleted表示該已經刪除了的檔案,但是檔案控制代碼未釋放,這個命令會把所有的未釋放檔案控制代碼的程序列出來

遇到這類問題,重啟被刪除檔案的服務即可。

 

(4) 實用命令

lsof `which httpd`   --那個程序在使用apache的可執行檔案

lsof /etc/passwd     --那個程序在佔用/etc/passwd

lsof /dev/cdrom      --那個程序在佔用光碟機

lsof -p 30297        --顯示那些檔案被pid為30297的程序開啟

lsof -u1000          --檢視uid是100的使用者的程序的檔案使用情況

lsof -utony          --檢視使用者tony的程序的檔案使用情況

lsof -u^tony         --檢視不是使用者tony的程序的檔案使用情況(^是取反的意思)

lsof -i              --顯示所有開啟的埠

lsof -i:80           --顯示所有開啟80埠的程序

 

使用-i顯示所有連線

有些人喜歡用netstat來獲取網路連線,但是我更喜歡使用lsof來進行此項工作。結果以對我來說很直觀的方式呈現,我僅僅只需改變我的語法,就可以通過同樣的命令來獲取更多資訊。

# lsof -i

COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME

dhcpcd 6061 root 4u IPv4 4510 UDP *:bootpc

sshd   7703 root 3u IPv6 6499 TCP *:ssh (LISTEN)

sshd   7892 root 3u IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)

 

使用-i 6僅獲取IPv6流量

# lsof -i 6

 

僅顯示TCP連線(同理可獲得UDP連線)

你也可以通過在-i後提供對應的協議來僅僅顯示TCP或者UDP連線資訊。

# lsof -iTCP

COMMAND  PID  USER   FD   TYPE DEVICE SIZE NODE NAME

sshd     7703 root  3u    IPv6 6499 TCP *:ssh (LISTEN)

sshd     7892 root  3u    IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)

 

使用-i:port來顯示與指定埠相關的網路資訊

或者,你也可以通過埠搜尋,這對於要找出什麼阻止了另外一個應用繫結到指定埠實在是太棒了。

# lsof -i:22

COMMAND  PID USER   FD   TYPE DEVICE SIZE NODE NAME

sshd 7703 root 3u  IPv6 6499 TCP *:ssh (LISTEN)

sshd 7892 root 3u  IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)

 

找出監聽埠

找出正等候連線的埠。

# lsof -i -sTCP:LISTEN

你也可以grep “LISTEN”來完成該任務。

# lsof -i | grep -i LISTEN

iTunes     400 daniel   16u  IPv4 0x4575228  0t0 TCP *:daap (LISTEN)

找出已建立的連線

你也可以顯示任何已經連線的連線。

# lsof -i -sTCP:ESTABLISHED

你也可以通過grep搜尋“ESTABLISHED”來完成該任務。

# lsof -i | grep -i ESTABLISHED

firefox-b 169 daniel  49u IPv4 0t0 TCP 1.2.3.3:1863->1.2.3.4:http (ESTABLISHED)