1. 程式人生 > >Linux入門:常用命令:wget檔案下載

Linux入門:常用命令:wget檔案下載

wget是在Linux下開發的開放原始碼的軟體,作者是Hrvoje Niksic,後來被移植到包括Windows在內的各個平臺上。它有以下功能和特點:

(1)支援斷點下傳功能;這一點,也是網路螞蟻和FlashGet當年最大的賣點,現在,Wget也可以使用此功能,那些網路不是太好的使用者可以放心了;
(2)同時支援FTP和HTTP下載方式;儘管現在大部分軟體可以使用HTTP方式下載,但是,有些時候,仍然需要使用FTP方式下載軟體;
(3)支援代理伺服器;對安全強度很高的系統而言,一般不會將自己的系統直接暴露在網際網路上,所以,支援代理是下載軟體必須有的功能;
(4)設定方便簡單;可能,習慣圖形介面的使用者已經不是太習慣命令行了,但是,命令列在設定上其實有更多的優點,最少,滑鼠可以少點很多次,也不要擔心是否錯點滑鼠;
(5)程式小,完全免費;程式小可以考慮不計,因為現在的硬碟實在太大了;完全免費就不得不考慮了,即使網路上有很多所謂的免費軟體,但是,這些軟體的廣告卻不是我們喜歡的;

wget雖然功能強大,但是使用起來還是比較簡單的,基本的語法是:wget [引數列表] URL。下面就結合具體的例子來說明一下wget的用法。

1、使用wget下載單個檔案

以下的例子是從網路下載一個檔案並儲存在當前目錄

在下載的過程中會顯示進度條,包含(下載完成百分比,已經下載的位元組,當前下載速度,剩餘下載時間)。

2、使用wget -O下載並以不同的檔名儲存

wget預設會以最後一個符合”/”的後面的字元來命令,對於動態連結的下載通常檔名會不正確。
錯誤:下面的例子會下載一個檔案並以名稱download.php?id=1080儲存

wget http://www.centos.bz/download?id=1


即使下載的檔案是zip格式,它仍然以download.php?id=1080命令。
正確:為了解決這個問題,我們可以使用引數-O來指定一個檔名:

3、使用wget –limit -rate限速下載

當你執行wget的時候,它預設會佔用全部可能的寬頻下載。但是當你準備下載一個大檔案,而你還需要下載其它檔案時就有必要限速了。

4、使用wget -c斷點續傳

使用wget -c重新啟動下載中斷的檔案:

wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
對於我們下載大檔案時突然由於網路等原因中斷非常有幫助,我們可以繼續接著下載而不是重新下載一個檔案。需要繼續中斷的下載時可以使用-c引數。

5、使用wget -b後臺下載

對於下載非常大的檔案的時候,我們可以使用引數-b進行後臺下載。

wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
Continuing in background, pid 1840.
Output will be written to `wget-log’.
你可以使用以下命令來察看下載進度

tail -f wget-log

6、偽裝代理名稱下載

有些網站能通過根據判斷代理名稱不是瀏覽器而拒絕你的下載請求。不過你可以通過–user-agent引數偽裝。

wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下載連結

7、使用wget –spider測試下載連結

當你打算進行定時下載,你應該在預定時間測試下載連結是否有效。我們可以增加–spider引數進行檢查。

wget –spider URL
如果下載連結正確,將會顯示

wget –spider URL
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response… 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled — not retrieving.
這保證了下載能在預定的時間進行,但當你給錯了一個連結,將會顯示如下錯誤

wget –spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response… 404 Not Found
Remote file does not exist — broken link!!!
你可以在以下幾種情況下使用spider引數:

定時下載之前進行檢查
間隔檢測網站是否可用
檢查網站頁面的死連結

8、使用wget –tries增加重試次數

如果網路有問題或下載一個大檔案也有可能失敗。wget預設重試20次連線下載檔案。如果需要,你可以使用–tries增加重試次數。

wget –tries=40 URL

9、使用wget -i下載多個檔案

首先,儲存一份下載連結檔案

cat > filelist.txt
url1
url2
url3
url4
接著使用這個檔案和引數-i下載

wget -i filelist.txt

10、使用wget –mirror映象網站

下面的例子是下載整個網站到本地。

wget –mirror -p –convert-links -P ./LOCAL URL
–miror:開戶映象下載
-p:下載所有為了html頁面顯示正常的檔案
–convert-links:下載後,轉換成本地的連結
-P ./LOCAL:儲存所有檔案和目錄到本地指定目錄

11、使用wget –reject過濾指定格式下載

你想下載一個網站,但你不希望下載圖片,你可以使用以下命令。

wget –reject=gif url

12、使用wget -o把下載資訊存入日誌檔案

你不希望下載資訊直接顯示在終端而是在一個日誌檔案,可以使用以下命令:

wget -o download.log URL

13、使用wget -Q限制總下載檔案大小

當你想要下載的檔案超過5M而退出下載,你可以使用以下命令:

wget -Q5m -i filelist.txt
注意:這個引數對單個檔案下載不起作用,只能遞迴下載時才有效。

14、使用wget -r -A下載指定格式檔案

可以在以下情況使用該功能

下載一個網站的所有圖片
下載一個網站的所有視訊
下載一個網站的所有PDF檔案
wget -r -A.pdf url

15、使用wget FTP下載

你可以使用wget來完成ftp連結的下載。
使用wget匿名ftp下載

wget ftp-url

使用wget使用者名稱和密碼認證的ftp下載

wget –ftp-user=USERNAME –ftp-password=PASSWORD url