用python來抓取“煎蛋網”上面的美女圖片,尺度很大哦!哈哈
阿新 • • 發佈:2017-06-26
each file like http add 寫入 header 。。 num
廢話不多說,先上代碼:
import urllib.request import re #獲得當前頁面的頁數page_name def get_pagenum(url): req = urllib.request.Request(url) req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36‘) res = urllib.request.urlopen(req) html= res.read().decode(‘utf-8‘) p = r‘<span class="current-comment-page">[^"]+</span>‘ temp = re.search(p,html) page_num = temp.group()[36:39] return page_num #將此頁面上的圖片寫入我們的mm文件夾中 def get_img(page_url): req = urllib.request.Request(page_url) req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36‘) res = urllib.request.urlopen(req) html = res.read().decode(‘utf-8‘) p = r‘<img src="([^"]+\.jpg)"‘ url_list = re.findall(p,html) num = 0 for each in url_list: file= open(‘C:/Users/lenovo/Desktop/mm/‘+each[-8:]+‘.jpg‘,‘wb‘) if each[0:5] == ‘http:‘: res = urllib.request.urlopen(each) else: res = urllib.request.urlopen(‘http:‘+each) file.write(res.read()) file.close() #只能直接運行 if __name__ == ‘__main__‘: url = ‘http://jandan.net/ooxx/‘ page_num = get_pagenum(url) for i in range(10): #抓取了十個頁面上美女圖片 page_url = url + ‘page-‘+str(page_num)+‘#comments‘ get_img(page_url) page_num = int(page_num) - 1 #下面是寫正則的時候方便看所以粘貼過來的連接 #<img src="//ws3.sinaimg.cn/mw600/006wUWIjgy1fgxrw8goikj30hs0qodh7.jpg" style="max-width: 480px; max-height: 750px;"> #http://jandan.net/ooxx/page-143#comments #<span class="current-comment-page">[141]</span> # http://wx3.sinaimg.cn/mw600/661eb95cly1fgioxk7mk3j20xc1e01f1.jpg #<img src="//wx1.sinaimg.cn/mw600/006wUWIjgy1fgxg2yj5f3j30g70s6dgw.jpg" style="max-width: 480px; max-height: 750px;">
結果如下:
由於時間原因,我只抓取了“煎蛋網”上的十個頁面的美女圖片罷了,大家可以更改其中的循環次數,可以抓取很多,這裏我只抓取了250個圖片,一共51.2kb,哈哈,可以很好的欣賞美女圖片了,看的都要流鼻血了。。。
當然,此程序還是不夠完善,只是我初學python網絡爬蟲的小作品罷了,以後再些更加完善的。接下來的一段時間真的得好好準備期末考試和考研了,加油!
參考來源: https://zhuanlan.zhihu.com/p/26442105
Note:沒有經過我的同意,請勿隨便轉載!謝謝。
用python來抓取“煎蛋網”上面的美女圖片,尺度很大哦!哈哈