下面講解我的爬蟲程式：

在D:\wa中新建一個記事本檔案1.txt，把所有的網易部落格的連結（注意，是一篇部落格的連結，不是目錄頁面的連結）都放進去，每個佔一行，然後執行程式把每篇部落格的圖片全部下載下來，每篇部落格都在D:\wa目錄下新建一個目錄，目錄名為該篇部落格的網頁title。

程式碼：

#coding=utf-8
import re
importurllib.request
import os

defget(url): #下載一個頁面所有需要的圖片
    if(len(url)<9):  #忽略txt中的空行
        return        
    all_title=[]
 

    try:
        html = urllib.request.urlopen(url).read().decode('gbk')
    except:
        print('error')
        print(url)
        return
    title = re.search("<title>.*</title>", html).group()    
    title = title[7:-25] #########根據部落格標題數出來的
    while(title inall_title):  #處理相同標題的網頁
        title =
 
 title+'a'
    all_title.append(title)    
    #pic_url = re.findall('http://img[0-9]*.ph.126.net/[0-9a-zA-Z-_=]*==/[0-9]*\.jpg',str(html))
    pic_url = re.findall('http://.{1,100}jpg',str(html))
    pic_url = list(set(pic_url))#去重
    path = thepath + '\\' + title
    try:
        os.mkdir(path)
    except:
        return
 

    i = 1
    for each inpic_url:
        try:
            pic= urllib.request.urlopen(each,timeout=10).read()
        except:   
            continue
        file = path + '\\' + title + str(i) + '.jpg'

        fp = open(file,'w')
        fp.write(pic)
        fp.close()
        i=i+1
    if notos.listdir(path):
        os.removedirs(path)
        print('error')
        print(url)

thepath = 'D:\\wa'
fp = open(thepath + '\\' + '1.txt','r').readlines()
for line infp:
    if line == '\n':
        print('none')
        break
    get(line.strip('\n'))

呼叫get函式時只需要讀取1.txt即可