小白爬蟲第一彈之抓取妹子圖【更新版】
阿新 • • 發佈：2017-08-04
mozilla dir mac print 1.0 bsp 實例化 com def
最近對爬蟲感興趣，參考了 http://cuiqingcai.com/3179.html 這篇文章，琢磨的小試身手，但是按照原文發現圖片下載下來全是打不開的圖片，這不是我想要的啊，嘗試直接把圖片的鏈接在瀏覽器中打開，發現已經看過的沒有問題，新打開的就不行了，一直懷疑是在cookie方面做了文章，在request裏也確實發現了有兩個cookie的身影，但就是怎麽找也找不到這兩個cookie怎麽來的，一度想放棄，爬個別的站算了，對妹子們的不舍還是又堅持研究了半天，在瀏覽器裏的抓包工具裏一直查看各種參數，做各種嘗試，發現了一點門道，原來請求圖片的時候需要增加一個參數，具體看代碼吧，運行後中途連接被切斷了，遂又增加了ua隨機替換的方法，幸虧沒有增加IP的限制，不然真就該放棄了，不廢話了，代碼如下：
import requests
from bs4 import BeautifulSoup
import os
import urllib
import random
class mzitu():
def all_url(self, url):
html = self.request(url)##調用request函數把套圖地址傳進去會返回給我們一個response
all_a = BeautifulSoup(html.text, ‘lxml‘).find(‘div‘, class_=‘all‘).find_all(‘a‘)
for a in all_a:
title = a.get_text()
print(u‘開始保存：‘, title) ##加點提示不然太枯燥了
path = str(title).replace("?", ‘_‘) ##我註意到有個標題帶有 ？ 這個符號Windows系統是不能創建文件夾的所以要替換掉
if not self.mkdir(path):
print(u‘已經跳過：‘, title) ##中途斷了可以直接再次運行，下載過的文件夾直接跳過了，提高點效率
continue
href = a[‘href‘]
self.html(href) ##調用html函數把href參數傳遞過去！href是啥還記的吧？ 就是套圖的地址哦！！不要迷糊了哦！
def html(self, href): ##這個函數是處理套圖地址獲得圖片的頁面地址
html = self.request(href)
max_span = BeautifulSoup(html.text, ‘lxml‘).find(‘div‘, class_=‘pagenavi‘).find_all(‘span‘)[-2].get_text()
for page in range(1, int(max_span) + 1):
page_url = href + ‘/‘ + str(page)
self.img(page_url) ##調用img函數
def img(self, page_url): ##這個函數處理圖片頁面地址獲得圖片的實際地址
img_html = self.request(page_url)
img_url = BeautifulSoup(img_html.text, ‘lxml‘).find(‘div‘, class_=‘main-image‘).find(‘img‘)[‘src‘]
self.save(img_url,page_url)
def save(self, img_url, page_url): ##這個函數保存圖片
name = img_url[-9:-4]
img = self.requestpic(img_url,page_url)
f = open(name + ‘.jpg‘, ‘ab‘)
f.write(img.content)
f.close()
def mkdir(self, path): ##這個函數創建文件夾
path = path.strip()
isExists = os.path.exists(os.path.join("D:\mzitu", path))
if not isExists:
print(u‘建了一個名字叫做‘, path, u‘的文件夾！‘)
os.makedirs(os.path.join("D:\mzitu", path))
os.chdir(os.path.join("D:\mzitu", path)) ##切換到目錄
return True
else:
print(u‘名字叫做‘, path, u‘的文件夾已經存在了！‘)
return False
def requestpic(self, url, Referer): ##這個函數獲取網頁的response 然後返回
user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1" "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
ua = random.choice(user_agent_list) ##隨機替換UA
headers = {‘User-Agent‘: ua,"Referer":Referer} ##對了，關鍵的參數就在這裏 ReFerer 沒有這個圖片下載不來的
content = requests.get(url, headers=headers)
return content
def request(self, url): ##這個函數獲取網頁的response 然後返回
headers = {‘User-Agent‘: "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}
content = requests.get(url, headers=headers)
return content
Mzitu = mzitu() ##實例化
Mzitu.all_url(‘http://www.mzitu.com/all‘) ##給函數all_url傳入參數 你可以當作啟動爬蟲（就是入口）
感謝前人們的無私分享， 感謝 http://cuiqingcai.com/ ， 感謝mzitu的站長提供給我們這麽多的優質妹子。
小白爬蟲第一彈之抓取妹子圖【更新版】