Python 爬蟲系列:糗事百科最熱段子
阿新 • • 發佈:2018-03-30
image .get headers BE write findall parse 調用 with open
1.獲取糗事百科url
http://www.qiushibaike.com/hot/page/2/ 末尾2指第2頁
2.分析頁面,找到段子部分的位置, 需要一點CSS和HTML的知識
3、編寫代碼
1 import urllib.request 2 from bs4 import BeautifulSoup 3 from urllib.request import URLError 4 from urllib.request import HTTPError 5 import time 6 # 調用 publicHeaders 文件的方法 7 from 爬蟲.publicHeaders importset_user_agent 8 9 10 # 抓取網頁 11 def download(pagenum): 12 url = r‘https://www.qiushibaike.com/hot/page/‘ 13 14 # 分頁下載 15 for i in range(1,pagenum): 16 #組裝url 17 new_url = url + str(pagenum) 18 print(new_url) 19 # 有的時候訪問某個網頁會一直得不到響應,程序就會卡到那裏,我讓他1秒後自動超時而拋出異常20 header = set_user_agent() 21 while 1: 22 try: 23 req = urllib.request.Request(url=new_url,headers=header) 24 reponse = urllib.request.urlopen(req,timeout=1) 25 break 26 # HTTPError是URLError的子類,在產生URLError時也會觸發產生HTTPError。因此應該先處理HTTPError27 except HTTPError as e: 28 print(e.code) 29 # 對於抓取到的異常,讓程序停止1.1秒,再循環重新訪問這個鏈接,訪問成功時退出循環 30 time.sleep(1.1) 31 except URLError as err: 32 print(err.reason) 33 # 正常訪問,則抓取網頁內容 34 html = reponse.read().decode(‘utf-8‘) 35 # 找到所有的class名稱為content 的div 36 soup = BeautifulSoup(html,"html.parser") 37 contents = soup.findAll("div",{"class":"content"}) 38 # # 循環遍歷保存每一項,並保存 39 with open("E:\JustForFun.txt", "w") as f: 40 for item in contents: 41 # 有些內容不是utf-8格式 42 try: 43 each_story = item.get_text() 44 #print(type(each_story)) 45 f.writelines(each_story) 46 except: 47 pass
4、執行以下,結果如下:
Python 爬蟲系列:糗事百科最熱段子