50行Python程式碼教你爬取貓眼電影TOP100榜所有資訊
來源: https://zhuanlan.zhihu.com/c_149865214
對於Python初學者來說,爬蟲技能是應該是最好入門,也是最能夠有讓自己有成就感的,今天,戀習Python的手把手系列,手把手教你入門Python爬蟲,爬取貓眼電影TOP100榜資訊,將涉及到基礎爬蟲架構中的HTML下載器、HTML解析器、資料儲存器三大模組:
HTML下載器:利用requests模組下載HTML網頁;
HTML解析器:利用re正則表示式解析出有效資料;
資料儲存器:將有效資料通過檔案或者資料庫的形式儲存起來;
一、構造HTML下載器
1import requests
2from requests.exceptions import RequestException
3headers = {'User-Agent':'Mozilla/5.0 '}
4def get_one_page(url):
5 try:
6 res = requests.get(url,headers = headers)
7 if res.status_code == 200:
8 return res.text
9 return None
10 except RequestException:
11 return None
二、構造HTML解析器
1def parse_one_page (html):
2 pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
3 +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
4 +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>' ,re.S)
5 items = re.findall(pattern,html)
6 for item in items:
7 yield{
8 'index': item[0],
9 'image': item[1],
10 'title': item[2],
11 'actor': item[3].strip()[3:],
12 'time': item[4].strip()[5:],
13 'score': item[5] + item[6]
14 }
注意:
在函式中本來該return的地方用yield,如果用return,在第一輪迴圈就會跳出,結果檔案只會有一部電影。如果用yield,函式返回的就是一個生成器,而生成器作為一種特殊的迭代器,可以用for——in方法,一次一次的把yield拿出來;
re.findall(pattern,string[,flags]):搜尋整個string,以列表的形式返回能匹配的全部子串,其中引數是匹配模式,如re.S表示點任意匹配模式,改變“.”的行為。
三、構造資料儲存器
1def write_to_file(content):
2 with open ('result.txt', 'a',encoding='utf-8') as f:
3 f.write(json.dumps(content,ensure_ascii=False) + '\n')
4 f.close()
注意事項:
為什麼ensure_ascii=False?原因是json預設是以ASCII來解析code的,由於中文不在ASCII編碼當中,因此就不讓預設ASCII生效;
要寫入特定編碼的文字檔案,請給open()函式傳入encoding引數,將字串自動轉換成指定編碼。細心的童鞋會發現,以'w'模式寫入檔案時,如果檔案已存在,會直接覆蓋(相當於刪掉後新寫入一個檔案)。如果我們希望追加到檔案末尾怎麼辦?可以傳入'a'以追加(append)模式寫入。
接下來就是構造主函式,初始化各個模組,傳入入口URL,按照執行流程執行上面三大模組:
1def main(offset):
2 url = 'http://maoyan.com/board/4?offset=' + str(offset)
3 html = get_one_page(url)
4 for item in parse_one_page(html):
5 print(item)
6 write_to_file(item)
7if __name__ == '__main__':
8 p = Pool()
9 p.map(main,[i*10 for i in range(10)])
注意:
為了提高速度,我們引入Pool模組,用多執行緒併發抓取。
執行程式碼後,結果如下:
本文中介紹了基礎爬蟲架構主要的的三個模組(HTML下載器、HTML解析器、資料儲存器),無論大型還是小型爬蟲都不會脫離這三個模組,也希望大家通過這個小小的練習對整個爬蟲有個清晰的認識,歡迎大家一起談論學習交流。