1. 程式人生 > >Python爬蟲 -下載百度貼吧圖片

Python爬蟲 -下載百度貼吧圖片

先放上程式的程式碼

import urllib.request
import os
import easygui as g
import re


def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36')
    response = urllib.request.urlopen(req)
    html = response.read()

    return html



def find_imgspath(url):
    html = url_open(url).decode('utf-8')
    img_addrs = re.findall(r'http://imgsrc.baidu.com/forum/w%3D580/sign=.+?.jpg', html)
    img_addrs2 = re.findall(r'https://imgsa.baidu.com/forum/w%3D580/sign=.+?.jpg', html)
    img_addrs.extend(img_addrs2)
    #print(img_addrs)
    return (img_addrs)


def save_imgs(folder, img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)


def download(url, folder, pages):
    os.chdir(folder)

    url = url + "?pn="

    for i in range(int(pages[0]), int(pages[1])+1):
        page_url = url + str(i)
        #print(page_url)
        img_addrs = find_imgspath(page_url)
        save_imgs(folder, img_addrs)


if __name__ == '__main__':
    url = g.enterbox(msg='       請輸入要下載的帖子的地址如: \n https://tieba.baidu.com/p/4693512264', title='貼吧帖子圖片下載工具')
    page_num = g.multenterbox(msg='輸入要下載的頁數區間', title='', fields=['起始頁', '終止頁'])
    upath = g.diropenbox('請選擇需要儲存的資料夾')
    download(url, upath, page_num)

程式用easygui編寫了簡單的圖形介面 在介面輸入相關資訊後,資料傳入download函式進行處理,download將傳過來的貼吧連結進行加工變成新的連結傳入find_imgspath函式,在此函式中,會對原始碼中的圖片地址進行篩選。

    img_addrs = re.findall(r'http://imgsrc.baidu.com/forum/w%3D580/sign=.+?.jpg', html)
    img_addrs2 = re.findall(r'https://imgsa.baidu.com/forum/w%3D580/sign=.+?.jpg', html)

根據分析連結中圖片地址為以上兩種(僅找到兩種),此處應用了正則表示式來進行地址查詢,將查詢後的地址已陣列的形式傳遞給save_imgs進行下載。

url_open 為開啟連結的函式,使用req.add_header,將User-Agent修改成瀏覽器的樣子。

就是這樣,程式非常簡單,但是對於我這段時間學習python來說,自己很有成就感,程式也有很多沒考慮到的地方,以後繼續學習,努力改善吧。

發個牢騷,記錄一下生活

哎,最近開始畢業找工作,好難?

上一次寫類似的東西應該是在七八年前的QQ空間吧,紀念一下。

?