python wget下載檔案
wget 可以跟蹤HTML頁面上的連結依次下載來建立遠端伺服器的本地版本，完全重建原始站點的目錄結構。這又常被稱作"遞迴下載"。在遞迴下載的時候，wget 遵循Robot Exclusion標準(/robots.txt). wget可以在下載的同時，將連結轉換成指向本地檔案，以方便離線瀏覽。
wget 非常穩定,它在頻寬很窄的情況下和不穩定網路中有很強的適應性.如果是由於網路的原因下載失敗，wget會不斷的嘗試，直到整個檔案下載完畢。如果是伺服器打斷下載過程，它會再次聯到伺服器上從停止的地方繼續下載。這對從那些限定了連結時間的伺服器上下載大檔案非常有用。
wget的常見用法
wget雖然功能強大，但是使用起來還是比較簡單的，
基本的語法是：wget [引數列表] "URL" 用""引起來可以避免因URL中有特殊字元造成的下載出錯。
下面就結合具體的例子來說明一下wget的用法。
1、下載整個http或者ftp站點。
wget
這個命令可以將http://place.your.url/here 首頁下載下來。使用-x會強制建立伺服器上一模一樣的目錄，如果使用-nd引數，那麼伺服器上下載的所有內容都會加到本地當前目錄。
wget -r http://place.your.url/here
這個命令會按照遞迴的方法，下載伺服器上所有的目錄和檔案，實質就是下載整個網站。這個命令一定要小心使用，因為在下載的時候，被下載網站指向的所有地址同樣會被下載，因此，如果這個網站引用了其他網站，那麼被引用的網站也會被下載下來！基於這個原因，這個引數不常用。可以用-l number引數來指定下載的層次。例如只下載兩層，那麼使用-l 2。
要是您想製作映象站點，那麼可以使用－m引數，例如：wget -m http://place.your.url/here
這時wget會自動判斷合適的引數來製作映象站點。此時，wget會登入到伺服器上，讀入robots.txt並按robots.txt的規定來執行。
2、斷點續傳。
當檔案特別大或者網路特別慢的時候，往往一個檔案還沒有下載完，連線就已經被切斷，此時就需要斷點續傳。wget的斷點續傳是自動的，只需要使用-c引數，例如：
wget -c http://the.url.of/incomplete/file
使用斷點續傳要求伺服器支援斷點續傳。-t引數表示重試次數，例如需要重試100次，那麼就寫-t 100，如果設成-t 0，那麼表示無窮次重試，直到連線成功。-T引數表示超時等待時間，例如-T 120，表示等待120秒連線不上就算超時。
3、批量下載。
如果有多個檔案需要下載，那麼可以生成一個檔案，把每個檔案的URL寫一行，例如生成檔案download.txt，然後用命令：wget -i download.txt
這樣就會把download.txt裡面列出的每個URL都下載下來。（如果列的是檔案就下載檔案，如果列的是網站，那麼下載首頁）
4、選擇性的下載。
可以指定讓wget只下載一類檔案，或者不下載什麼檔案。例如：
wget -m --reject=gif http://target.web.site/subdirectory
表示下載http://target.web.site/subdirectory，但是忽略gif檔案。--accept=LIST 可以接受的檔案型別，--reject=LIST拒絕接受的檔案型別。
5、密碼和認證。
wget只能處理利用使用者名稱/密碼方式限制訪問的網站，可以利用兩個引數：
--http-user=USER設定HTTP使用者
--http-passwd=PASS設定HTTP密碼
對於需要證書做認證的網站，就只能利用其他下載工具了，例如curl。
6、利用代理伺服器進行下載。
如果使用者的網路需要經過代理伺服器，那麼可以讓wget通過代理伺服器進行檔案的下載。此時需要在當前使用者的目錄下建立一個.wgetrc檔案。檔案中可以設定代理伺服器：
http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080
分別表示http的代理伺服器和ftp的代理伺服器。如果代理伺服器需要密碼則使用：
--proxy-user=USER設定代理使用者
--proxy-passwd=PASS設定代理密碼
這兩個引數。
使用引數--proxy=on/off 使用或者關閉代理。
wget還有很多有用的功能，需要使用者去挖掘。
wget的使用格式
Usage: wget [OPTION]... [URL]...
* 用wget做站點映象:
wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/
# 或者
wget -m http://dsec.pku.edu.cn/~usr_name/
* 在不穩定的網路上下載一個部分下載的檔案，以及在空閒時段下載
wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &
# 或者從filelist讀入要下載的檔案列表
wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &
上面的程式碼還可以用來在網路比較空閒的時段進行下載。我的用法是:在mozilla中將不方便當時下載的URL連結拷貝到記憶體中然後貼上到檔案filelist.txt中，在晚上要出去系統前執行上面程式碼的第二條。
* 使用代理下載
wget -Y on -p -k https://sourceforge.net/projects/wvware/
代理可以在環境變數或wgetrc檔案中設定
# 在環境變數中設定代理
export PROXY=http://211.90.168.94:8080/
# 在~/.wgetrc中設定代理
http_proxy = http://proxy.yoyodyne.com:18023/
ftp_proxy = http://proxy.yoyodyne.com:18023/
wget各種選項分類列表
* 啟動
-V, --version 顯示wget的版本後退出
-h, --help 列印語法幫助
-b, --background 啟動後轉入後臺執行
-e, --execute=COMMAND 執行`.wgetrc'格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc
* 記錄和輸入檔案
-o, --output-file=FILE 把記錄寫到FILE檔案中
-a, --append-output=FILE 把記錄追加到FILE檔案中
-d, --debug 列印除錯輸出
-q, --quiet 安靜模式(沒有輸出)
-v, --verbose 冗長模式(這是預設設定)
-nv, --non-verbose 關掉冗長模式，但不是安靜模式
-i, --input-file=FILE 下載在FILE檔案中出現的URLs
-F, --force-html 把輸入檔案當作HTML格式檔案對待
-B, --base=URL 將URL作為在-F -i引數指定的檔案中出現的相對連結的字首
--sslcertfile=FILE 可選客戶端證書
--sslcertkey=KEYFILE 可選客戶端證書的KEYFILE
--egd-file=FILE 指定EGD socket的檔名
* 下載
--bind-address=ADDRESS 指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用)
-t, --tries=NUMBER 設定最大嘗試連結次數(0 表示無限制).
-O --output-document=FILE 把文件寫到FILE檔案中
-nc, --no-clobber 不要覆蓋存在的檔案或使用.#字首
-c, --continue 接著下載沒下載完的檔案
--progress=TYPE 設定程序條標記
-N, --timestamping 不要重新下載檔案除非比本地檔案新
-S, --server-response 列印伺服器的迴應
--spider 不下載任何東西
-T, --timeout=SECONDS 設定響應超時的秒數
-w, --wait=SECONDS 兩次嘗試之間間隔SECONDS秒
--waitretry=SECONDS 在重新連結之間等待1...SECONDS秒
--random-wait 在下載之間等待0...2*WAIT秒
-Y, --proxy=on/off 開啟或關閉代理
-Q, --quota=NUMBER 設定下載的容量限制
--limit-rate=RATE 限定下載輸率
* 目錄
-nd --no-directories 不建立目錄
-x, --force-directories 強制建立目錄
-nH, --no-host-directories 不建立主機目錄
-P, --directory-prefix=PREFIX 將檔案儲存到目錄 PREFIX/...
--cut-dirs=NUMBER 忽略 NUMBER層遠端目錄
* HTTP 選項
--http-user=USER 設定HTTP使用者名稱為 USER.
--http-passwd=PASS 設定http密碼為 PASS.
-C, --cache=on/off 允許/不允許伺服器端的資料快取 (一般情況下允許).
-E, --html-extension 將所有text/html文件以.html副檔名儲存
--ignore-length 忽略 `Content-Length'頭域
--header=STRING 在headers中插入字串 STRING
--proxy-user=USER 設定代理的使用者名稱為 USER
--proxy-passwd=PASS 設定代理的密碼為 PASS
--referer=URL 在HTTP請求中包含 `Referer: URL'頭
-s, --save-headers 儲存HTTP頭到檔案
-U, --user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION.
--no-http-keep-alive 關閉 HTTP活動連結 (永遠連結).
--cookies=off 不使用 cookies.
--load-cookies=FILE 在開始會話前從檔案 FILE中載入cookie
--save-cookies=FILE 在會話結束後將 cookies儲存到 FILE檔案中
* FTP 選項
-nr, --dont-remove-listing 不移走 `.listing'檔案
-g, --glob=on/off 開啟或關閉檔名的 globbing機制
--passive-ftp 使用被動傳輸模式 (預設值).
--active-ftp 使用主動傳輸模式
--retr-symlinks 在遞迴的時候，將連結指向檔案(而不是目錄)
* 遞迴下載
-r, --recursive 遞迴下載－－慎用!
-l, --level=NUMBER 最大遞迴深度 (inf 或 0 代表無窮).
--delete-after 在現在完畢後區域性刪除檔案
-k, --convert-links 轉換非相對連結為相對連結
-K, --backup-converted 在轉換檔案X之前，將之備份為 X.orig
-m, --mirror 等價於 -r -N -l inf -nr.
-p, --page-requisites 下載顯示HTML檔案的所有圖片
* 遞迴下載中的包含和不包含(accept/reject)
-A, --accept=LIST 分號分隔的被接受副檔名的列表
-R, --reject=LIST 分號分隔的不被接受的副檔名的列表
-D, --domains=LIST 分號分隔的被接受域的列表
--exclude-domains=LIST 分號分隔的不被接受的域的列表
--follow-ftp 跟蹤HTML文件中的FTP連結
--follow-tags=LIST 分號分隔的被跟蹤的HTML標籤的列表
-G, --ignore-tags=LIST 分號分隔的被忽略的HTML標籤的列表
-H, --span-hosts 當遞迴時轉到外部主機
-L, --relative 僅僅跟蹤相對連結
-I, --include-directories=LIST 允許目錄的列表
-X, --exclude-directories=LIST 不被包含目錄的列表
-np, --no-parent 不要追溯到父目錄
問題
在遞迴下載的時候，遇到目錄中有中文的時候，wget建立的本地目錄名會用URL編碼規則處理。如"天網防火牆"會被存為"%CC%EC%CD%F8%B7%C0%BB%F0%C7%BD",這造成閱讀上的