1. 程式人生 > >linux 快速刪除大量/大檔案

linux 快速刪除大量/大檔案

1、快速刪除大量檔案:

假如你要在linux下刪除大量檔案,比如100萬、1000萬,像/var/spool/clientmqueue/的mail郵件,/usr/local/nginx/proxy_temp的nginx快取等,那麼rm -rf *可能就不好使了。 rsync 可以用來清空目錄或檔案,如下:

1先建立一個空目錄

mkdir/data/blank

2用rsync刪除目標目錄

rsync--delete-before -d /data/blank/ /var/spool/clientmqueue/

這樣目標目錄很快就被清空了

注:其中--delete-before 接收者在傳輸之前進行刪除操作

2、快速刪除大檔案:

假如你有一些特別大的檔案要刪除,比如nohup.out這樣的實時更新的檔案,動輒都是幾十個G上百G的,也可以用rsync來清空大檔案,而且效率比較高

1建立空檔案

touch/data/blank.txt

2用rsync清空檔案

rsync-a --delete-before --progress --stats /root/blank.txt /root/nohup.out

3為什麼rsync能夠快速刪除大檔案?

1rm命令大量呼叫了lstat64和unlink,可以推測刪除每個檔案前都從檔案系統中做過一次lstat操作。過程:正式刪除工作的第一階段,需要通過getdirentries64呼叫,分批讀取目錄(每次大約為4K),在記憶體中建立rm的檔案列表;第二階段,lstat64確定所有檔案的狀態;第三階段,通過unlink執行實際刪除。這三個階段都有比較多的系統呼叫和檔案系統操作。

2rsync所做的系統呼叫很少沒有針對單個檔案做lstat和unlink操作。命令執行前期,rsync開啟了一片共享記憶體,通過mmap方式載入目錄資訊。只做目錄同步,不需要針對單個檔案做unlink。

另外,在其他人的評測裡,rm的上下文切換比較多,會造成System CPU佔用較多——對於檔案系統的操作,簡單增加併發數並不總能提升操作速度。

總結頻繁做減法不如直接從頭來過

把檔案系統的目錄與書籍的目錄做類比,rm刪除內容時,將目錄的每一個條目逐個刪除(unlink),需要迴圈重複操作很多次;rsync刪除內容時,建立好新的空目錄,替換掉老目錄,基本沒開銷。