python2.7中的urllib.urlretrieve( )方法

1. urlretrieve()方法直接將遠端資料（圖片或者文件）下載到本地。具體引數為：

       urlretrieve(url, filename=None, reporthook=None, data=None)

• 引數filename指定了儲存本地路徑（如果引數未指定，urllib會生成一個臨時檔案儲存資料。）
• 引數reporthook是一個回撥函式，當連線上伺服器、以及相應的資料塊傳輸完畢時會觸發該回調，我們可以利用這個回撥函式來顯示當前的下載進度。
• 引數data指post導伺服器的資料，該方法返回一個包含兩個元素的(filename, headers) 元組，filename 表示儲存到本地的路徑，header表示伺服器的響應頭

2. 示例程式碼如下：

# encoding:utf-8
import requests
from lxml import etree
import urllib
import os
import re

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"
}


def parse_page(url):
    # 1.獲取網頁請求
    response = requests.get(url, headers=headers)
    text = response.text
    # print text
    # 2.解析網頁內容
    html = etree.HTML(text)
    images = html.xpath("//div[@class='page-content text-center']//img[@class!='gif']")
    for img in images:
        # print etree.tostring(img)
        # img.get('data-original')：get方法可以得到‘data-original’屬性的值
        img_url = img.get('data-original')
        img_name = img.get('alt')
        img_name = re.sub(r'[\?？!！\.。]', '', img_name)
        img_suffix = os.path.splitext(img_url)[-1]
        img_filename = img_name+img_suffix
        urllib.urlretrieve(img_url, "Images/"+img_filename, report_hook)


def report_hook(a, b, c):
    """回撥函式
    :param a:已經下載的資料塊
    :param b:資料塊的大小
    :param c:遠端檔案的大小
    :return:
    """
    per = 100.0*a*b/c
    if per > 100:
        per = 100
    print "%.2f%%" % per


def main():
    for x in range(1, 101):
        url = "http://www.doutula.com/photo/list/?page=%d" % x
        parse_page(url)
        # print url
        break


if __name__ == '__main__':
    main()
 

3. 執行結果為：

......
98.00%
98.84%
99.68%
100.00%

Process finished with exit code 0

Images資料夾下的檔案如下：