Python 3.5_簡單上手、爬取百度圖片的高清原圖

利用工作之餘的時間，學習Python差不多也有小一個月的時間了，路漫漫其修遠兮，我依然是隻菜鳥。

感覺學習新技術確實是一個痛並快樂著的過程，在此分享些心得和收穫，並貼一個爬取百度圖片原圖的程式碼。

程式碼主要參考了xiligey老司機前輩的一篇文章，在基礎上添加了一些的功能，在此謝過。http://m.blog.csdn.net/xiligey1/article/details/73321152

一、安裝，搭建環境

首先是Python的安裝，我想網上已經很多了，如果連安裝都搞不定接下來的也不用看了，我自己用得是3.5的版本。

官網https://www.python.org/

除此之外分享一個國外的網站，涵蓋了幾乎全部的python模組，執行過程中有模組缺失的可以pip或者手動在這裡下載安裝。

下載下來的檔案字尾名改成.zip，解壓出來的資料夾直接放在python安裝目錄下的Lib資料夾裡即可。

為了讓我們碼程式碼更簡單舒服，除錯更輕鬆，推薦一個IDE:PyCharm ,介面和操作都很友好易上手，需要的自行百度安裝。

二、核心程式碼

首先F12除錯模式，檢視圖片的連結地址

後來實驗了，發現這是小圖的連結地址，咱直接pass。在網頁空白處右鍵檢視原始碼，根據前輩的經驗，我們能找到objUrl既是我們需要的原圖的地址,這下就好辦了，直接正則匹配，

pattern_pic = '"objURL":"(.*?)",'

而後處理翻頁的問題

pattern_fanye = '<a href="(.*)" class="n">下一頁</a>'
fanye_url = re.findall(pattern_fanye, html)[0]  # 下一頁的連結

最後就可以迴圈儲存圖片了。

以下貼出程式碼：

1. # coding=utf-8  
2. """ 
3. 爬取百度圖片的高清原圖 
4. Author          : MirrorMan 
5. Created         : 2017-11-10 
6. """  
7. import re  
8. import sys  
9. import urllib  
10. import os  
11.   
12. import requests  
13.   
14.   
15. def get_onepage_urls(onepageurl):  
16.     if not onepageurl:  
17.         print('執行結束')  
18.         return [], ''  
19.     try:  
20.         html = requests.get(onepageurl).text  
21.     except Exception as e:  
22.         print(e)  
23.         pic_urls = []  
24.         fanye_url = ''  
25.         return pic_urls, fanye_url  
26.     pic_urls = re.findall('"objURL":"(.*?)",', html, re.S)  
27.     fanye_urls = re.findall(re.compile(r'<a href="(.*)" class="n">下一頁</a>'), html, flags=0)  
28.     fanye_url = 'http://image.baidu.com' + fanye_urls[0] if fanye_urls else ''  
29.     return pic_urls, fanye_url  
30.   
31.   
32. def down_pic(pic_urls,localPath):  
33.     if not os.path.exists(localPath):  # 新建資料夾  
34.         os.mkdir(localPath)  
35.     """給出圖片連結列表, 下載圖片"""  
36.     for i, pic_url in enumerate(pic_urls):  
37.         try:  
38.             pic = requests.get(pic_url, timeout=15)  
39.             string = str(i + 1) + '.jpg'  
40.             with open(localPath + '%d.jpg' % i, 'wb')as f:  
41.                 f.write(pic.content)  
42.           #  with open(string, 'wb') as f:  
43.           #      f.write(pic.content)  
44.                 print('成功下載第%s張圖片: %s' % (str(i + 1), str(pic_url)))  
45.         except Exception as e:  
46.             print('下載第%s張圖片時失敗: %s' % (str(i + 1), str(pic_url)))  
47.             print(e)  
48.             continue  
49.   
50.   
51. if __name__ == '__main__':  
52.     keyword = '泰勒斯威夫特1920*1080'  # 關鍵詞, 改為你想輸入的詞即可  
53.     url_init_first = r'http://image.baidu.com/search/flip?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1497491098685_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&ctd=1497491098685%5E00_1519X735&word='  
54.     url_init = url_init_first + urllib.parse.quote(keyword, safe='/')  
55.     all_pic_urls = []  
56.     onepage_urls, fanye_url = get_onepage_urls(url_init)  
57.     all_pic_urls.extend(onepage_urls)  
58.   
59.     fanye_count = 1  # 圖片所在頁數，下載完後調整這裡就行  
60.     while 1:  
61.         onepage_urls, fanye_url = get_onepage_urls(fanye_url)  
62.         fanye_count += 1  
63.         print('第%s頁' % fanye_count)  
64.         if fanye_url == '' and onepage_urls == []:  
65.             break  
66.         all_pic_urls.extend(onepage_urls)  
67.   
68.     down_pic(list(set(all_pic_urls)),'e:/PythonPic/泰勒%s/' % fanye_count)#儲存位置也可以修改  

三、其它

執行跑起來，

有些圖片是無效的，一般就是連結失效了，也在我們的承受範圍中，接下來大家就盡情享受吧

MirrorMan

2017/11/10