1. 程式人生 > >Python 3 爬取網路資源(一)

Python 3 爬取網路資源(一)

最近剛學習python爬蟲技術,查找了一下python爬蟲的demo,發現大部分都是python 2 的語法,於是自己查了一下api,自己變更修改了下,最終完成了圖片爬取。

具體程式碼如下:

#coding=utf-8
import re
import urllib.request


def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read().decode('utf-8')
    return html


def getDiv(html):
    reg = r'src="(https://.+?\.jpg)"'
    divRe = re.compile(reg)
    imglist = re.findall(divRe,html)
    x = 0
    for imgurl in imglist:
        urllib.request.urlretrieve(imgurl,'%s.jpg' % x)
        x+=1
    return imglist 


html = getHtml("https://image.baidu.com/")


print(getDiv(html))

整個程式是通過制定具體的網址,使用python 的 urllib.request 庫,然後使用正則表示式去匹配。最後使用的urllib.requst的
urlretrieve函式將網上圖片儲存到本地。