Python爬蟲--- 1.5 爬蟲實踐: 獲取百度貼吧內容
原文連結:https://www.fkomm.cn/article/2018/7/22/21.html
經過前期大量的學習與準備,我們重要要開始寫第一個真正意義上的爬蟲了。本次我們要爬取的網站是:百度貼吧,一個非常適合新人練手的地方,那麼讓我們開始吧。
本次要爬的貼吧是<< 西部世界 >>,西部世界是我一直很喜歡的一部美劇,平時有空也會去看看吧友們都在聊些什麼。所以這次選取這個吧來作為實驗材料。
貼吧地址 : https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8
Python版本 : 3.6 瀏覽器版本: Chrome
目標分析:
由於是第一個實驗性質爬蟲,我們要做的不多,我們需要做的就是:
- 從網上爬下特定頁碼的網頁。
- 對於爬下的頁面內容進行簡單的篩選分析。
- 找到每一篇帖子的 標題、發帖人、日期、樓層、以及跳轉連結。
- 將結果儲存到文字。
前期準備: 看到貼吧的url地址是不是覺得很亂?有那一大串認不得的字元?
其實這些都是中文字元, %E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C
在編碼之後就是: 西部世界。
連結的末尾處:&ie=utf-8 表示該連線採用的是utf-8編碼。
windows的預設編碼是GBK,在處理這個連線的時候,需要我們在Python裡手動設定一下,才能夠成功使用。
Python3相對於Python2對於編碼的支援有了很大的提升,預設全域性採用utf-8編碼,所以建議還在學Python2的小夥伴趕緊投入Python3的懷抱,真的省了老大的功夫了。
接著我們翻到貼吧的第二頁:
url: https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8&pn=50
注意到沒有,連線的末尾處多了一個引數&pn=50, 這裡我們很容易就能猜到,這個引數的與頁碼的聯絡:
- &pn=0 : 首頁
- &pn=50: 第二頁
- &pn=100:第三頁
- &pn=50*n 第n頁
- 50 表示 每一頁都有50篇帖子。
這下我們就能通過簡單的url修改,達到翻頁的效果了。
chrome開發人員工具的使用:
要寫爬蟲,我們一定要會使用開發工具,說起來這個工具是給前端開發人員用的,但是我們可以通過它快速定位我們要爬取的資訊,並找到相對應的規律。
- 按cmmand+option+I 開啟chrome工具,(win可以看按F12或者手動在chrome工具欄裡開啟)
- 使用模擬點選工具快速定位到一個單獨帖子的位置。(左上角的滑鼠箭頭圖示)
我們仔細的觀察一下,發現每個帖子的內容都包裹在一個li標籤內。
這樣我們只要快速找出所有的符合規則的標籤,在進一步分析裡面的內容,最後篩選出資料就可以了。
內容分析
- 我們先寫出抓取頁面內容的函式:
這是前面介紹過的爬取框架,以後我們會經常用到。
import requests
from bs4 import BeautifulSoup
# 首先我們寫好抓取網頁的函式
def get_html(url):
try:
r = requests.get(url,timeout=30)
r.raise_for_status()
#這裡我們知道百度貼吧的編碼是utf-8,所以手動設定的。爬去其他的頁面時建議使用:
# r.endcodding = r.apparent_endconding
r.encoding='utf-8'
return r.text
except:
return " ERROR "
- 接著我們摘取其中的詳細資訊:
我們來分一下每一個li標籤內部的結構:一個大的li標籤內包裹著很多個 div標籤,而我們要的資訊就在這一個個div標籤之內:
# 標題&帖子連結
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季,中英字,未❗️刪❕減.?任性給" target="_blank" class="j_th_tit ">【高淸】西部世界1-2季,中英字,未❗️刪❕減.?任性給</a>
#發帖人:
<span class="tb_icon_author no_icon_author" title="主題作者: 愛學習的萌新_" data-field="{"user_id":829797296}"><i class="icon_author"></i><span class="pre_icon_wrap pre_icon_wrap_theme1 frs_bright_preicon"><a class="icon_tbworld icon-crown-super-v1" href="/tbmall/tshow" data-field="{"user_id":829797296}" target="_blank" title="貼吧超級會員"></a></span>
#回覆數量:
<div class="col2_left j_threadlist_li_left">
<span class="threadlist_rep_num center_text" title="回覆">822</span>
</div>
#發帖日期:
<span class="pull-right is_show_create_time" title="建立時間">7-20</span>
分析完之後,我們就能很容易的通過soup.find()方法得到我們想要的結果。
具體程式碼的實現:
'''
抓取百度貼吧---西部世界吧的基本內容
爬蟲線路: requests - bs4
Python版本: 3.6
OS: mac os 12.13.6
'''
import requests
import time
from bs4 import BeautifulSoup
# 首先我們寫好抓取網頁的函式
def get_html(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
# 這裡我們知道百度貼吧的編碼是utf-8,所以手動設定的。爬去其他的頁面時建議使用:
# r.endcodding = r.apparent_endconding
r.encoding = 'utf-8'
return r.text
except:
return " ERROR "
def get_content(url):
'''
分析貼吧的網頁檔案,整理資訊,儲存在列表變數中
'''
# 初始化一個列表來儲存所有的帖子資訊:
comments = []
# 首先,我們把需要爬取資訊的網頁下載到本地
html = get_html(url)
# 我們來做一鍋湯
soup = BeautifulSoup(html, 'lxml')
# 按照之前的分析,我們找到所有具有‘ j_thread_list clearfix’屬性的li標籤。返回一個列表型別。
liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})
# 通過迴圈找到每個帖子裡的我們需要的資訊:
for li in liTags:
# 初始化一個字典來儲存文章資訊
comment = {}
# 這裡使用一個try except 防止爬蟲找不到資訊從而停止執行
try:
# 開始篩選資訊,並儲存到字典中
comment['title'] = li.find(
'a', attrs={'class': 'j_th_tit '}).text.strip()
comment['link'] = "http://tieba.baidu.com/" + \
li.find('a', attrs={'class': 'j_th_tit '})['href']
comment['name'] = li.find(
'span', attrs={'class': 'tb_icon_author '}).text.strip()
comment['time'] = li.find(
'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
comment['replyNum'] = li.find(
'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
comments.append(comment)
except:
print('出了點小問題')
return comments
def Out2File(dict):
'''
將爬取到的檔案寫入到本地
儲存到當前目錄的 TTBT.txt檔案中。
'''
with open('TTBT.txt', 'a+') as f:
for comment in dict:
f.write('標題: {} \t 連結:{} \t 發帖人:{} \t 發帖時間:{} \t 回覆數量: {} \n'.format(
comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))
print('當前頁面爬取完成')
def main(base_url, deep):
url_list = []
# 將所有需要爬去的url存入列表
for i in range(0, deep):
url_list.append(base_url + '&pn=' + str(50 * i))
print('所有的網頁已經下載到本地! 開始篩選資訊。。。。')
#迴圈寫入所有的資料
for url in url_list:
content = get_content(url)
Out2File(content)
print('所有的資訊都已經儲存完畢!')
base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'
# 設定需要爬取的頁碼數量
deep = 3
if __name__ == '__main__':
main(base_url, deep)
程式碼裡有詳細的註釋和思路,看不懂的話 多看幾遍 下面是爬完的結果:
好了今天的小例子到這裡就結束了。