1. 程式人生 > >wget下載整個網站或目錄

wget下載整個網站或目錄

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow

也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!

               

 原貼:http://jnote.cn/blog/shell/wget-download.html

wget下載整個網站或目錄

一 21st, 2009| shell
no comments
 

用wget下載東西,的確很方便,它會自動重連並斷點續傳。讓人很放心。
經常要下載一個網站或網站的某個目錄。

將wget命令放到這裡備用:
下載一個目錄,例如網站的yourdir
wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;GTB5)" -r -p -k -np -Pmydir -nc -o down.loghttp://www.yourdomain.com/yourdir/index.html
如果要想下載整個網站,最好去除-np引數。
wget -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)" -r -p -k -nc -o down.log http://www.yourdomain.com/index.html


-U   修改agent,偽裝成IE貨firefox等
-r遞迴;對於HTTP主機,wget首先下載URL指定的檔案,然後(如果該檔案是一個HTML文件的話)遞迴下載該檔案所引用(超級連線)的所有檔案(遞迴深度由引數-l指定)。對FTP主機,該引數意味著要下載URL指定的目錄中的所有檔案,遞迴方法與HTTP主機類似。
-c    指定斷點續傳功能。實際上,wget預設具有斷點續傳功能,只有當你使用別的ftp工具下載了某一檔案的一部分,並希望wget接著完成此工作的時候,才需要指定此引數。
-nc  不下載已經存在的檔案
-np  表示不跟隨連結,只下載指定目錄及子目錄裡的東西;
-p   下載頁面顯示所需的所有檔案。比如頁面中包含了圖片,但是圖片並不在/yourdir目錄中,而在/images目錄下,有此引數,圖片依然會被正常下載。
-k    修復下載檔案中的絕對連線為相對連線,這樣方便本地閱讀。

 

           

給我老師的人工智慧教程打call!http://blog.csdn.net/jiangjunshow

這裡寫圖片描述