1. 程式人生 > >Centos下載檔案wget命令詳解

Centos下載檔案wget命令詳解

    wget是linux最常用的下載命令, 一般的使用方法是: wget + 空格 + 要下載檔案的url路徑

  例如: # wget linuxsense.org/xxxx/xxx.tar.gz">http://www.linuxsense.org/xxxx/xxx.tar.gz

  簡單說一下-c引數, 這個也非常常見, 可以斷點續傳, 如果不小心終止了, 可以繼續使用命令接著下載

  例如: # wget -c http://www.linuxsense.org/xxxx/xxx.tar.gz

  下面詳細闡述wget的用法:

  wget是一個從網路上自動下載檔案的自由工具。它支援HTTP,HTTPS和FTP協議,可以使用HTTP代理.

  所謂的自動下載是指,wget可以在使用者退出系統的之後在後臺執行。這意味這你可以登入系統,啟動一個wget下載任務,然後退出系統,wget將在後臺執行直到任務完成,相對於其它大部分瀏覽器在下載大量資料時需要使用者一直的參與,這省去了極大的麻煩。

  wget可以跟蹤HTML頁面上的連結依次下載來建立遠端伺服器的本地版本,完全重建原始站點的目錄結構。這又常被稱作”遞迴下載”。在遞迴下載的時候,wget遵循Robot Exclusion標準(/robots.txt). wget可以在下載的同時,將連結轉換成指向本地檔案,以方便離線瀏覽。

  wget非常穩定,它在頻寬很窄的情況下和不穩定網路中有很強的適應性.如果是由於網路的原因下載失敗,wget會不斷的嘗試,直到整個檔案下載完畢。如果是伺服器打斷下載過程,它會再次聯到伺服器上從停止的地方繼續下載。這對從那些限定了連結時間的伺服器上下載大檔案非常有用。

  wget的常見用法

  wget的使用格式

  Usage: wget [OPTION]… [URL]…

  * 用wget做站點映象:

  wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/

  # 或者

  wget -m http://www.tldp.org/LDP/abs/html/

  * 在不穩定的網路上下載一個部分下載的檔案,以及在空閒時段下載

  wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &

  # 或者從filelist讀入要下載的檔案列表

  wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &

  上面的程式碼還可以用來在網路比較空閒的時段進行下載。我的用法是:在mozilla中將不方便當時下載的URL連結拷貝到記憶體中然後貼上到檔案filelist.txt中,在晚上要出去系統前執行上面程式碼的第二條。

  * 使用代理下載

  wget -Y on -p -k https://sourceforge.net/projects/wvware/

  代理可以在環境變數或wgetrc檔案中設定

  # 在環境變數中設定代理

  export PROXY=http://211.90.168.94:8080/

  # 在~/.wgetrc中設定代理

  http_proxy = http://proxy.yoyodyne.com:18023/

  ftp_proxy = http://proxy.yoyodyne.com:18023/

  wget各種選項分類列表

  * 啟動

  -V, –version           顯示wget的版本後退出

  -h, –help              列印語法幫助

  -b, –background        啟動後轉入後臺執行

  -e, –execute=COMMAND   執行`.wgetrc’格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc

  * 記錄和輸入檔案

  -o, –output-file=FILE     把記錄寫到FILE檔案中

  -a, –append-output=FILE   把記錄追加到FILE檔案中

  -d, –debug                列印除錯輸出

  -q, –quiet                安靜模式(沒有輸出)

  -v, –verbose              冗長模式(這是預設設定)

  -nv, –non-verbose          關掉冗長模式,但不是安靜模式

  -i, –input-file=FILE      下載在FILE檔案中出現的URLs

  -F, –force-html           把輸入檔案當作HTML格式檔案對待

  -B, –base=URL             將URL作為在-F -i引數指定的檔案中出現的相對連結的字首

  –sslcertfile=FILE     可選客戶端證書

  –sslcertkey=KEYFILE   可選客戶端證書的KEYFILE

  –egd-file=FILE        指定EGD socket的檔名

  * 下載

  –bind-address=ADDRESS   指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)

  -t, –tries=NUMBER           設定最大嘗試連結次數(0 表示無限制).

  -O   –output-document=FILE   把文件寫到FILE檔案中

  -nc, –no-clobber             不要覆蓋存在的檔案或使用.#字首

  -c, –continue               接著下載沒下載完的檔案

  –progress=TYPE          設定程序條標記

  -N, –timestamping           不要重新下載檔案除非比本地檔案新

  -S, –server-response        列印伺服器的迴應

  –spider                 不下載任何東西

  -T, –timeout=SECONDS        設定響應超時的秒數

  -w, –wait=SECONDS           兩次嘗試之間間隔SECONDS秒

  –waitretry=SECONDS      在重新連結之間等待1…SECONDS秒

  –random-wait            在下載之間等待0…2*WAIT秒

  -Y, –proxy=on/off           開啟或關閉代理

  -Q, –quota=NUMBER           設定下載的容量限制

  –limit-rate=RATE        限定下載輸率

  * 目錄

  -nd –no-directories            不建立目錄

  -x, –force-directories         強制建立目錄

  -nH, –no-host-directories       不建立主機目錄

  -P, –directory-prefix=PREFIX   將檔案儲存到目錄 PREFIX/…

  –cut-dirs=NUMBER           忽略 NUMBER層遠端目錄

  * HTTP 選項

  –http-user=USER      設定HTTP使用者名稱為 USER.

  –http-passwd=PASS    設定http密碼為 PASS.

  -C, –cache=on/off        允許/不允許伺服器端的資料快取 (一般情況下允許).

  -E, –html-extension      將所有text/html文件以.html副檔名儲存

  –ignore-length       忽略 `Content-Length’頭域

  –header=STRING       在headers中插入字串 STRING

  –proxy-user=USER     設定代理的使用者名稱為 USER

  –proxy-passwd=PASS   設定代理的密碼為 PASS

  –referer=URL         在HTTP請求中包含 `Referer: URL’頭

  -s, –save-headers        儲存HTTP頭到檔案

  -U, –user-agent=AGENT    設定代理的名稱為 AGENT而不是 Wget/VERSION.

  –no-http-keep-alive 關閉 HTTP活動連結 (永遠連結).

  –cookies=off         不使用 cookies.

  –load-cookies=FILE   在開始會話前從檔案 FILE中載入cookie

  –save-cookies=FILE   在會話結束後將 cookies儲存到 FILE檔案中

  * FTP 選項

  -nr, –dont-remove-listing   不移走 `.listing’檔案

  -g, –glob=on/off           開啟或關閉檔名的 globbing機制

  –passive-ftp           使用被動傳輸模式 (預設值).

  –active-ftp            使用主動傳輸模式

  –retr-symlinks         在遞迴的時候,將連結指向檔案(而不是目錄)

  * 遞迴下載

  -r, –recursive          遞迴下載--慎用!

  -l, –level=NUMBER       最大遞迴深度 (inf 或 0 代表無窮).

  –delete-after       在現在完畢後區域性刪除檔案

  -k, –convert-links      轉換非相對連結為相對連結

  -K, –backup-converted   在轉換檔案X之前,將之備份為 X.orig

  -m, –mirror             等價於 -r -N -l inf -nr.

  -p, –page-requisites    下載顯示HTML檔案的所有圖片

  * 遞迴下載中的包含和不包含(accept/reject)

  -A, –accept=LIST                分號分隔的被接受副檔名的列表

  -R, –reject=LIST                分號分隔的不被接受的副檔名的列表

  -D, –domains=LIST               分號分隔的被接受域的列表

  –exclude-domains=LIST       分號分隔的不被接受的域的列表

  –follow-ftp                 跟蹤HTML文件中的FTP連結

  –follow-tags=LIST           分號分隔的被跟蹤的HTML標籤的列表

  -G, –ignore-tags=LIST           分號分隔的被忽略的HTML標籤的列表

  -H, –span-hosts                 當遞迴時轉到外部主機

  -L, –relative                   僅僅跟蹤相對連結

  -I, –include-directories=LIST   允許目錄的列表

  -X, –exclude-directories=LIST   不被包含目錄的列表

  -np, –no-parent                  不要追溯到父目錄

相關推薦

Centos下載檔案wget命令

    wget是linux最常用的下載命令, 一般的使用方法是: wget + 空格 + 要下載檔案的url路徑   例如: # wget linuxsense.org/xxxx/xxx.tar.gz">http://www.linuxsense.org/xxxx/

【搬運】Wget 命令

clear challenge 多次 進度條 成功 imp 聯網 llb tails      用過 Linux 系統的對於 wget 不陌生吧,從網上下載資源等操作都是少不了它,它體積小但功能集全,支持 FTP HTTP HTTPS 協議下載方式,支持斷點續傳 代理服務器

05_Linux常用檔案系統命令,看不懂,我吃s!

常用檔案系統命令詳解 磁碟管理: cd change directory 常使用方式: cd sourcedir   進入使用者主目錄 cd ~   進入使用者主目錄 cd -  

易語云模組-易語言郵件傳送模組下載(含命令

易語言支援庫自帶郵件傳送命令,但是和現在的主流郵箱好像不能連線上,收件發件就更別提了。 於是易語云模組就橫空出世了,如果您要開發e程式傳送郵件的話,那麼使用易語云模組就可以很輕鬆的搞定了。 點選此處進入官網下載模組 下面我們進入正題 1.關於易語云模組的命令    我們開啟易語言

易語雲模塊-易語言郵件發送模塊下載(含命令

收信 發的 圖片 font span 直接 image -s 不能 易語言支持庫自帶郵件發送命令,但是和現在的主流郵箱好像不能連接上,收件發件就更別提了。 於是易語雲模塊就橫空出世了,如果您要開發e程序發送郵件的話,那麽使用易語雲模塊就可以很輕松的搞定了。 點擊此處進入官網

Linux的wget命令

Linux wget是一個下載檔案的工具,它用在命令列下。對於Linux使用者是必不可少的工具,尤其對於網路管理員,經常要下載一些軟體或從遠端伺服器恢復備份到本地伺服器。如果我們使用虛擬主機,處理這樣的事務我們只能先從遠端伺服器下載到我們電腦磁碟,然後再用ftp工具上傳到伺服器。這樣既浪費時間又浪費

Linux之檔案查詢命令

find 查詢檔案 find ./ -type f 查詢目錄 find ./ -type d 查詢名字為test的檔案或目錄 find ./ -name test 查詢名字符合正則表示式的檔案,注意前面的‘.*’(查詢到的檔案帶有目錄) find ./ -regex .*so.*\.gz 查詢目

linux每日命令(30):Linux 使用者及使用者組相關檔案命令

一. 使用者、使用者組概念及其檔案結構詳解 Linux使用者只有兩個等級:root及非root。Linux中還有一部分使用者,如:apache、mysql、nobody、ftp等,這些也都是非root使用者,即普通使用者。Linux的許可權實際是上不同使用者所能訪問的檔案的不同產生的假象。而這些假象的造成,

wget命令

wget -m -k (-H) http://www.example.com/ 三 引數 程式碼:   $ wget --help   GNU Wget 1.9.1,非互動式的網路檔案下載工具。   用法: wget [選項]... [URL]...   長選項必須用的引數在使用短選項時也是必須的。 啟動:

Linux檔案查詢命令-which whereis find locate

原創BLog,轉載請註明出處 which命令 首先檢視man which的說明 which - shows the full path of (shell) commands. 在$PATH目錄下查詢命令的絕對路徑,PATH配置不同,查詢的結果也不同 檢視系統的PA

linux中iptables配置檔案命令

ilter 這個規則表是預設規則表,擁有INPUT、FORWARD 和 OUTPUT三個規則鏈,這個規則表顧名思義是用來進行封包過濾的理動作(例如:DROP、 LOG、 ACCEPT 或 REJECT),我們會將基本規則都建立在此規則表中。 主要包含:命令表                    用來增加

Linux centos關機與重啟命令與實戰

包含 動作 /var/ proc 電源 sign 沒有 時間 數據丟失 Linux centos重啟命令:   1、reboot   2、shutdown -r now 立刻重啟(root用戶使用)   3、shutdown -r 10 過10分鐘自動重啟(root用戶使

centos、linux關機與重啟命令

說明 哪些 凍結 而且 密碼 用戶 nal 最簡 信號 Linux centos關機與重啟命令詳解與實戰  Linux centos重啟命令:   1、reboot   2、shutdown -r now 立刻重啟(root用戶使用)   3、shutdown

CentOS中zip壓縮和unzip壓縮命令

window centos fedora 搜搜 命令詳解 剛才 錯誤 完整 壓縮文件 以下命令均在/home目錄下操作cd /home #進入/home目錄1、把/home目錄下面的mydata目錄壓縮為mydata.zipzip -r mydata.zip mydata

Linux nohup命令pk10源碼下載

後臺 源碼下載 err 輸入 stdout 文件夾 表示 其它 語法 現象:pk10源碼下載(企 娥:217 1793 408) 把java程序打成jar包後,放到linux上通過putty或其它終端執行的時候, 如果按照:java -jar xxxx.jar執行,當我們退

Centos檢視端口占用情況和開啟埠命令

Centos檢視端口占用情況命令,比如檢視80端口占用情況使用如下命令: lsof -i tcp:80 列出所有埠 netstat -ntlp 1、開啟埠 方法一: /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT 寫入修改

CentOS上free命令

$free -m             total          used      free    shared  &nb

Linux系統下python學習筆記——Linux中檔案和目錄常用命令

一、檢視目錄內容 ls命令說明: 英文單詞list的簡寫,功能為列出目錄的內容,是使用者最常用的命令字義    Linux下檔案和目錄的特點: Linux檔案或目錄名稱最長可以有256個字元 以 . 開頭的檔案為隱藏檔案,需要用-a引數才能顯示(all

Linux基礎命令複習-操作檔案命令

操作檔案命令詳解 建立檔案: touch -a  或--time=atime或--time=access或--time=use  只更改存取時間 -c  或--no-create  不建立任何文件 -d  使用指定的日期時間,而非現在的時間 -f  此引數將忽略不予處理,僅負責解決BSD版本to

[樂意黎原創] Centos下目錄許可權和使用者名稱使用者組等操作命令

1. Linux/Centos 許可權命令常識: Linux作業系統是多使用者多工作業系統,包括使用者賬戶和組賬戶兩種: 細分使用者賬戶(普通使用者賬戶,超級使用者賬戶)除了使用者賬戶以為還有組賬戶所謂組賬戶就是使用者賬戶的集合,centos組中有兩種型別,私有組和標準組: