今天在使用python的庫urllib做實驗的時候接觸到了urlretrieve()這個函式，個人感覺很有意思，可能是因為之前一直都沒有使用過這樣簡潔的函式，urllib模組可以很容易的獲取網際網路上頁面的html內容，之後可以利用re模組提供的正則表示式來提取自己需要的資訊，在需要從網上下載資料或者材料的時候需要編寫專門的程式來儲存檔案。

    urlretrieve()這個函式可以直接從網際網路上下載檔案儲存到本地路徑下，下面簡單來介紹一下這個函式的用法。

    在python shell中輸入：

help(urllib.urlretrieve)

得到關於這個函式的基本用法資訊為：

Help on function urlretrieve in module urllib:

urlretrieve(url, filename=None, reporthook=None, data=None)
(END)

• 引數 finename 指定了儲存本地路徑（如果引數未指定，urllib會生成一個臨時檔案儲存資料。）
• 引數 reporthook 是一個回撥函式，當連線上伺服器、以及相應的資料塊傳輸完畢時會觸發該回調，我們可以利用這個回撥函式來顯示當前的下載進度。
• 引數 data 指 post 到伺服器的資料，該方法返回一個包含兩個元素的(filename, headers)元組，filename 表示儲存到本地的路徑，header 表示伺服器的響應頭。

#!/usr/bin/python  
# -*- coding: utf-8 -*-  

import os
from urllib import urlretrieve
from urllib import urlopen
from bs4 import BeautifulSoup

downloadDirectory = "downloaded"
baseUrl = "http://pythonscraping.com"

def getAbsoluteURL(baseUrl, source):
    if source.startswith("http://www."):
        url = "http://"+source[11:]
    elif source.startswith("http://"):
        url = source
    elif source.startswith("www."):
        url = source[4:]
        url = "http://"+source
    else:
        url = baseUrl+"/"+source
    if baseUrl not in url:
        return None
    return url

def getDownloadPath(baseUrl, absoluteUrl, downloadDirectory):
    path = absoluteUrl.replace("www.", "")
    path = path.replace(baseUrl, "")
    path = downloadDirectory+path
    directory = os.path.dirname(path)

    if not os.path.exists(directory):
        os.makedirs(directory)

    return path

html = urlopen("http://www.pythonscraping.com")
bsObj = BeautifulSoup(html, "html.parser")
downloadList = bsObj.findAll(src=True)
print '________________________________________________________________________________________________'
print downloadList
print len(downloadList)

for download in downloadList:
    fileUrl = getAbsoluteURL(baseUrl, download["src"])
    if fileUrl is not None:
        print '********************************************************************************'
        print(fileUrl)
        urlretrieve(fileUrl, getDownloadPath(baseUrl, fileUrl, downloadDirectory))
 

[<script src="http://www.pythonscraping.com/misc/jquery.js?v=1.4.4" type="text/javascript"></script>, <script src="http://www.pythonscraping.com/misc/jquery.once.js?v=1.2" type="text/javascript"></script>, <script src="http://www.pythonscraping.com/misc/drupal.js?nhx1dd" type="text/javascript"></script>, <script src="http://www.pythonscraping.com/sites/all/themes/skeletontheme/js/jquery.mobilemenu.js?nhx1dd" type="text/javascript"></script>, <script src="http://www.pythonscraping.com/sites/all/modules/google_analytics/googleanalytics.js?nhx1dd" type="text/javascript"></script>, <img alt="Home" src="http://www.pythonscraping.com/sites/default/files/lrg_0.jpg"/>, <iframe frameborder="0" height="500px" scrolling="no" src="http://www.oreilly.com/authors/widgets/669.html" width="200px"></iframe>, <img alt="" src="http://pythonscraping.com/img/lrg%20(1).jpg" style="height:394px; width:300px"/>]
8
http://pythonscraping.com/misc/jquery.js?v=1.4.4
http://pythonscraping.com/misc/jquery.once.js?v=1.2
http://pythonscraping.com/misc/drupal.js?nhx1dd
http://pythonscraping.com/sites/all/themes/skeletontheme/js/jquery.mobilemenu.js?nhx1dd
http://pythonscraping.com/sites/all/modules/google_analytics/googleanalytics.js?nhx1dd
http://pythonscraping.com/sites/default/files/lrg_0.jpg
http://pythonscraping.com/img/lrg%20(1).jpg

接下來使用urlretrieve()來下載幾個網頁儲存到指定路徑中去，程式如下：

#!/usr/bin/python  
# -*- coding: utf-8 -*-  

import os
import urllib

def callback(dbnum, dbsize, size):
    '''回撥函式
    dbnum: 已經下載的資料塊
    dbsize: 資料塊的大小
    size: 遠端檔案的大小
    '''
    percent = 100.0 * dbnum * dbsize / size
    if percent > 100:
        percent = 100
    print "%.2f%%"% percent

#將輸入的url處理為標準格式，否則會發生解析出錯的問題
def url_handle(url):
    if url.startswith('http://www.'):
        pass
    else:
        url = 'http://www.' + url
    return url 

if __name__ == '__main__':
    if not os.path.exists('downloaddata'):
        os.mkdir('downloaddata')
    url_list = ['http://www.baidu.com', 'taobao.com', 'http://www.vmall.com']
    for one_url in url_list:
    	print '*****************************downloading************************************'
        url = url_handle(one_url)
        local = 'downloaddata' + '/' + url.split('.')[-2] + '.html'
        urllib.urlretrieve(url, local, callback)

*****************************downloading************************************
-0.00%
-819200.00%
-1638400.00%
-2457600.00%
-3276800.00%
-4096000.00%
-4915200.00%
-5734400.00%
-6553600.00%
-7372800.00%
-8192000.00%
-9011200.00%
-9830400.00%
-10649600.00%
*****************************downloading************************************
-0.00%
-819200.00%
-1638400.00%
-2457600.00%
-3276800.00%
-4096000.00%
-4915200.00%
-5734400.00%
-6553600.00%
-7372800.00%
-8192000.00%
-9011200.00%
-9830400.00%
-10649600.00%
-11468800.00%
-12288000.00%
-13107200.00%
-13926400.00%
*****************************downloading************************************
-0.00%
-819200.00%
-1638400.00%
-2457600.00%
-3276800.00%
-4096000.00%
-4915200.00%
-5734400.00%
-6553600.00%
-7372800.00%
-8192000.00%
-9011200.00%
-9830400.00%
-10649600.00%
-11468800.00%
-12288000.00%
-13107200.00%
-13926400.00%
-14745600.00%
-15564800.00%

同時在本地看到了儲存成功的三個頁面的檔案，大小分別為：100KB、133KB、150KB

簡單的一個小嚐試，之後繼續學習，歡迎一起交流學習！