linux 磁碟空間被佔滿但找不到目標檔案的問題處理 lsof命令
lsof簡介
在終端下輸入lsof即可顯示系統開啟的檔案,因為 lsof 需要訪問核心記憶體和各種檔案,所以必須以 root 使用者的身份執行它才能夠充分地發揮其功能。
直接輸入lsof部分輸出為:
每行顯示一個開啟的檔案,若不指定條件預設將顯示所有程序開啟的所有檔案。
lsof輸出各列資訊的意義如下:
COMMAND:程序的名稱
PID: 程序識別符號
USER:程序所有者
FD: 檔案描述符,應用程式通過檔案描述符識別該檔案。如cwd、txt等 TYPE:檔案型別,如DIR、REG等
DEVICE:指定磁碟的名稱
SIZE:檔案的大小
NODE:索引節點(檔案在磁碟上的標識)
NAME:開啟檔案的確切名稱
FD 列中的檔案描述符cwd 值表示應用程式的當前工作目錄,這是該應用程式啟動的目錄,除非它本身對這個目錄進行更改,txt 型別的檔案是程式程式碼,如應用程式二進位制檔案本身或共享庫,如上列表中顯示的 /sbin/init 程式。
其次數值表示應用程式的檔案描述符,這是開啟該檔案時返回的一個整數。初始開啟每個應用程式時,都具有三個檔案描述符,從 0 到 2,分別表示標準輸入、輸出和錯誤流。
與 FD 列相比,Type 列則比較直觀。檔案和目錄分別稱為 REG 和 DIR。而CHR 和 BLK,分別表示字元和塊裝置;或者 UNIX、FIFO 和 IPv4,分別表示 UNIX 域套接字、先進先出 (FIFO) 佇列和網際協議 (IP) 套接字。
lsof使用例項
(1) 查詢誰在使用檔案系統
在解除安裝檔案系統時,如果該檔案系統中有任何開啟的檔案,操作通常將會失敗。那麼通過lsof可以找出那些程序在使用當前要解除安裝的檔案系統,如下:
# lsof /GTES11
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
bash 4208 root cwd DIR 3,1 4096 2 /GTES11/
vim 4230 root cwd DIR 3,1 4096 2 /GTES11/
在這個示例中,使用者root正在其/GTES11目錄中進行一些操作。一個 bash是例項正在執行,並且它當前的目錄為/GTES11,另一個則顯示的是vim正在編輯/GTES11下的檔案。要成功地解除安裝/GTES11,應該在通知使用者以確保情況正常之後,中止這些程序。 這個示例說明了應用程式的當前工作目錄非常重要,因為它仍保持著檔案資源,並且可以防止檔案系統被解除安裝。這就是為什麼大部分守護程序(後臺程序)將它們的目錄更改為根目錄、或服務特定的目錄(如 sendmail 示例中的 /var/spool/mqueue)的原因,以避免該守護程序阻止解除安裝不相關的檔案系統。
(2) 恢復刪除的檔案
當Linux計算機受到入侵時,常見的情況是日誌檔案被刪除,以掩蓋攻擊者的蹤跡。管理錯誤也可能導致意外刪除重要的檔案,比如在清理舊日誌時,意外地刪除了資料庫的活動事務日誌。有時可以通過lsof來恢復這些檔案。
當程序打開了某個檔案時,只要該程序保持開啟該檔案,即使將其刪除,它依然存在於磁碟中。這意味著,程序並不知道檔案已經被刪除,它仍然可以向開啟該檔案時提供給它的檔案描述符進行讀取和寫入。除了該程序之外,這個檔案是不可見的,因為已經刪除了其相應的目錄索引節點。
在/proc 目錄下,其中包含了反映核心和程序樹的各種檔案。/proc目錄掛載的是在記憶體中所對映的一塊區域,所以這些檔案和目錄並不存在於磁碟中,因此當我們對這些檔案進行讀取和寫入時,實際上是在從記憶體中獲取相關資訊。大多數與 lsof 相關的資訊都儲存於以程序的 PID 命名的目錄中,即 /proc/1234 中包含的是 PID 為 1234 的程序的資訊。每個程序目錄中存在著各種檔案,它們可以使得應用程式簡單地瞭解程序的記憶體空間、檔案描述符列表、指向磁碟上的檔案的符號連結和其他系統資訊。lsof 程式使用該資訊和其他關於核心內部狀態的資訊來產生其輸出。所以lsof 可以顯示程序的檔案描述符和相關的檔名等資訊。也就是我們通過訪問程序的檔案描述符可以找到該檔案的相關資訊。
當系統中的某個檔案被意外地刪除了,只要這個時候系統中還有程序正在訪問該檔案,那麼我們就可以通過lsof從/proc目錄下恢復該檔案的內容。
假如由於誤操作將/var/log/messages檔案刪除掉了,那麼這時要將/var/log/messages檔案恢復的方法如下:
首先使用lsof來檢視當前是否有程序開啟/var/logmessages檔案,如下:
# lsof |grep /var/log/messages
syslogd 1283 root 2w REG 3,3 5381017 1773647 /var/log/messages (deleted)
從上面的資訊可以看到 PID 1283(syslogd)開啟檔案的檔案描述符為 2。同時還可以看到/var/log/messages已經標記被刪除了。因此我們可以在 /proc/1283/fd/2 (fd下的每個以數字命名的檔案表示程序對應的檔案描述符)中檢視相應的資訊,如下:
# head -n 10 /proc/1283/fd/2
Aug 4 13:50:15 holmes86 syslogd 1.4.1: restart.
Aug 4 13:50:15 holmes86 kernel: klogd 1.4.1, log source = /proc/kmsg started.
Aug 4 13:50:15 holmes86 kernel: Linux version 2.6.22.1-8 ([email protected]) (gcc version 4.2.0) #1 SMP Wed Jul 18 11:18:32 EDT 2007 Aug 4 13:50:15 holmes86 kernel: BIOS-provided physical RAM map: Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000000000 - 000000000009f000 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000000009f000 - 00000000000a0000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000100000 - 000000001f7d3800 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000001f7d3800 - 0000000020000000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000e0000000 - 00000000f0007000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000f0008000 - 00000000f000c000 (reserved)
從上面的資訊可以看出,檢視 /proc/8663/fd/2 就可以得到所要恢復的資料。如果可以通過檔案描述符檢視相應的資料,那麼就可以使用 I/O 重定向將其複製到檔案中,如:
# cat /proc/1283/fd/2 > /var/log/messages
對於許多應用程式,尤其是日誌檔案和資料庫,這種恢復刪除檔案的方法非常有用。
(3) 磁碟空間被佔滿,檔案已經刪除,但是空間未被釋放的問題
磁碟空間已滿,但是找不到佔空間的檔案。空間沒釋放 或者說 inode 用完,用以下命令檢視
# df -Th
Filesystem Type Size Used Avail Use% Mounted on
/dev/mapper/vg_mysql120-lv_root ext4 50G 45G 1.8G 97% /
tmpfs tmpfs 32G 0 32G 0% /dev/shm
/dev/sda1 ext4 485M 32M 428M 7% /boot
/dev/mapper/vg_mysql120-lv_home ext4 468G 78G 367G 18% /home
# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/mapper/vg_mysql120-lv_root 3276800 32722 3244078 1% /
tmpfs 8224606 1 8224605 1% /dev/shm
/dev/sda1 128016 38 127978 1% /boot
/dev/mapper/vg_mysql120-lv_home 31129600 19867 31109733 1% /home
注:在生產環境常見的問題就是,有維護人員或者開發同事使用tail命令實時檢視日誌。然後另外的人使用rm命令刪除,這有就好導致磁碟空間不會真正的釋放,因為你要刪除的檔案,還有程序在使用,檔案控制代碼沒有釋放,即tail
檔案控制代碼以及空間釋放問題
# lsof |grep deleted --檢視
如果你知道檔名,那就可以直接使用如下命令
# lsof |grep testfile
但是如果你不知道是哪個檔案,或者是很多檔案都有這樣的情況,那你需要使用如下命令
注:這個deleted表示該已經刪除了的檔案,但是檔案控制代碼未釋放,這個命令會把所有的未釋放檔案控制代碼的程序列出來
遇到這類問題,重啟被刪除檔案的服務即可。
(4) 實用命令
lsof `which httpd` --那個程序在使用apache的可執行檔案
lsof /etc/passwd --那個程序在佔用/etc/passwd
lsof /dev/cdrom --那個程序在佔用光碟機
lsof -p 30297 --顯示那些檔案被pid為30297的程序開啟
lsof -u1000 --檢視uid是100的使用者的程序的檔案使用情況
lsof -utony --檢視使用者tony的程序的檔案使用情況
lsof -u^tony --檢視不是使用者tony的程序的檔案使用情況(^是取反的意思)
lsof -i --顯示所有開啟的埠
lsof -i:80 --顯示所有開啟80埠的程序
使用-i顯示所有連線
有些人喜歡用netstat來獲取網路連線,但是我更喜歡使用lsof來進行此項工作。結果以對我來說很直觀的方式呈現,我僅僅只需改變我的語法,就可以通過同樣的命令來獲取更多資訊。
# lsof -i
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
dhcpcd 6061 root 4u IPv4 4510 UDP *:bootpc
sshd 7703 root 3u IPv6 6499 TCP *:ssh (LISTEN)
sshd 7892 root 3u IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)
使用-i 6僅獲取IPv6流量
# lsof -i 6
僅顯示TCP連線(同理可獲得UDP連線)
你也可以通過在-i後提供對應的協議來僅僅顯示TCP或者UDP連線資訊。
# lsof -iTCP
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
sshd 7703 root 3u IPv6 6499 TCP *:ssh (LISTEN)
sshd 7892 root 3u IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)
使用-i:port來顯示與指定埠相關的網路資訊
或者,你也可以通過埠搜尋,這對於要找出什麼阻止了另外一個應用繫結到指定埠實在是太棒了。
# lsof -i:22
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
sshd 7703 root 3u IPv6 6499 TCP *:ssh (LISTEN)
sshd 7892 root 3u IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)
找出監聽埠
找出正等候連線的埠。
# lsof -i -sTCP:LISTEN
你也可以grep “LISTEN”來完成該任務。
# lsof -i | grep -i LISTEN
iTunes 400 daniel 16u IPv4 0x4575228 0t0 TCP *:daap (LISTEN)
找出已建立的連線
你也可以顯示任何已經連線的連線。
# lsof -i -sTCP:ESTABLISHED
你也可以通過grep搜尋“ESTABLISHED”來完成該任務。
# lsof -i | grep -i ESTABLISHED
firefox-b 169 daniel 49u IPv4 0t0 TCP 1.2.3.3:1863->1.2.3.4:http (ESTABLISHED)