Python 3.5_簡單上手、爬取百度圖片的高清原圖
阿新 • • 發佈:2019-01-22
利用工作之餘的時間,學習Python差不多也有小一個月的時間了,路漫漫其修遠兮,我依然是隻菜鳥。
感覺學習新技術確實是一個痛並快樂著的過程,在此分享些心得和收穫,並貼一個爬取百度圖片原圖的程式碼。
一、安裝,搭建環境
首先是Python的安裝,我想網上已經很多了,如果連安裝都搞不定接下來的也不用看了,我自己用得是3.5的版本。
除此之外分享一個國外的網站,涵蓋了幾乎全部的python模組,執行過程中有模組缺失的可以pip或者手動在這裡下載安裝。
下載下來的檔案字尾名改成.zip,解壓出來的資料夾直接放在python安裝目錄下的Lib資料夾裡即可。
為了讓我們碼程式碼更簡單舒服,除錯更輕鬆,推薦一個IDE:PyCharm ,介面和操作都很友好易上手,需要的自行百度安裝。
二、核心程式碼
首先F12除錯模式,檢視圖片的連結地址
後來實驗了,發現這是小圖的連結地址,咱直接pass。在網頁空白處右鍵檢視原始碼,根據前輩的經驗,我們能找到objUrl既是我們需要的原圖的地址,這下就好辦了,直接正則匹配,
而後處理翻頁的問題
最後就可以迴圈儲存圖片了。
以下貼出程式碼:
# coding=utf-8 """ 爬取百度圖片的高清原圖 Author : MirrorMan Created : 2017-11-10 """ import re import sys import urllib import os import requests def get_onepage_urls(onepageurl): if not onepageurl: print('執行結束') return [], '' try: html = requests.get(onepageurl).text except Exception as e: print(e) pic_urls = [] fanye_url = '' return pic_urls, fanye_url pic_urls = re.findall('"objURL":"(.*?)",', html, re.S) fanye_urls = re.findall(re.compile(r'<a href="(.*)" class="n">下一頁</a>'), html, flags=0) fanye_url = 'http://image.baidu.com' + fanye_urls[0] if fanye_urls else '' return pic_urls, fanye_url def down_pic(pic_urls,localPath): if not os.path.exists(localPath): # 新建資料夾 os.mkdir(localPath) """給出圖片連結列表, 下載圖片""" for i, pic_url in enumerate(pic_urls): try: pic = requests.get(pic_url, timeout=15) string = str(i + 1) + '.jpg' with open(localPath + '%d.jpg' % i, 'wb')as f: f.write(pic.content) # with open(string, 'wb') as f: # f.write(pic.content) print('成功下載第%s張圖片: %s' % (str(i + 1), str(pic_url))) except Exception as e: print('下載第%s張圖片時失敗: %s' % (str(i + 1), str(pic_url))) print(e) continue if __name__ == '__main__': keyword = '泰勒斯威夫特1920*1080' # 關鍵詞, 改為你想輸入的詞即可 url_init_first = r'http://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1497491098685_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&ctd=1497491098685%5E00_1519X735&word=' url_init = url_init_first + urllib.parse.quote(keyword, safe='/') all_pic_urls = [] onepage_urls, fanye_url = get_onepage_urls(url_init) all_pic_urls.extend(onepage_urls) fanye_count = 1 # 圖片所在頁數,下載完後調整這裡就行 while 1: onepage_urls, fanye_url = get_onepage_urls(fanye_url) fanye_count += 1 print('第%s頁' % fanye_count) if fanye_url == '' and onepage_urls == []: break all_pic_urls.extend(onepage_urls) down_pic(list(set(all_pic_urls)),'e:/PythonPic/泰勒%s/' % fanye_count)#儲存位置也可以修改
三、其它
執行跑起來,
有些圖片是無效的,一般就是連結失效了,也在我們的承受範圍中,接下來大家就盡情享受吧
MirrorMan
2017/11/10