【Python3爬蟲】百度貼吧爬蟲
先說下我寫這個爬蟲的思路吧：首先是利用selenium模擬瀏覽器，然後搜尋貼吧名，如果不存在就提示“沒有找到該貼吧”，然後重新輸入，如果搜到了這個貼吧，就進入該貼吧並且顯示該貼吧首頁上的所有帖子，然後我們可以選擇檢視哪一個帖子，程式就會返回該帖子的內容，對於評論較多的帖子，還可以檢視下一頁，如果想看別的帖子，可以退回到首頁重新選擇。
環境：Windows7，Python3.5，pycharm
使用到的庫：requests,re,selenium,time
具體步驟：
一、搜尋貼吧
先搜尋一個存在的貼吧（比如python），得到的網頁連結是http://tieba.baidu.com/f?ie=utf-8&kw=python&fr=search&red_tag=q3127125854
然後搜尋一個不存在的貼吧（比如sad213），得到的網頁連結是http://tieba.baidu.com/f/search/res?qw=sad213&sm=2&cf=1&ie=utf-8&red_tag=r3419770693
對比兩個連結可知，如果返回的連結裡包含tieba.baidu.com/f?ie=utf-8，則該貼吧存在。所以我 利用selenium模擬瀏覽器，根據返回的結果判斷搜尋的貼吧是否存在。
二、顯示貼吧首頁的帖子
在搜尋到貼吧之後，我們要進入該貼吧並檢視該貼吧首頁上的帖子，這部分實現起來不算難。
首先是獲取網頁原始碼，用requests.get()方法請求網頁，然後打印出text內容，可以找到如下部分。
要提取發帖人的名字和帖子主題，我選擇用正則表示式來實現，具體程式碼如下：
titles = re.findall('<a rel="noreferrer" href="/p/(\w+)" title="(.*?)"', res.text)
authors = re.findall('title="主題作者: (.*?)"', res.text)
這樣我們就能成功獲取首頁上的帖子資訊了。
三、檢視某一個帖子
要檢視一個帖子裡的內容，第一步是和上面的步驟一樣的，用get方法請求網頁，然後列印text，再用正則表示式提取回復人的名字和回覆內容。
接下來的步驟花了我不少時間，因為很多人在評論的時候會發表情，而這些表情我們是無法將它顯示出來的，因此我選擇將表情對應的連結顯示出來，如果要看別人發的是什麼表情，直接點連結進去就能看到了。對於評論中的圖片，我也是這麼處理的，將圖片的連結顯示出來。
這一步還有一個坑，就是因為有些人的回覆是帶有回覆框的，也就是說這些人的評論是包裹在div裡的，用上面的方法是無法得到他們的回覆的。
通過觀察網頁原始碼，我發現可以用正則表示式匹配到這部分回覆，然後對於這些回覆，也要進行處理後再顯示出來。
comment_list2 = re.findall('post_bubble_middle_inner">(.*?)<div', res.text, re.DOTALL)
comment = comment_list2[num].replace('<br>', ' ').replace('</div>', ' ')
這樣我們就能夠搜尋貼吧並且進入貼吧檢視我們想看的帖子了==
具體原始碼如下：
1 import requests
2 import time
3 import re
4 from selenium import webdriver
5
6 headers = {
7"user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/"
8"53.0.2785.89 Safari/537.36"
9 }
10
11
12 class TieBa:
13def __init__(self, name, url):
14self.name = name# 貼吧名
15self.url = url# 貼吧首頁的url
16
17# 顯示首頁上的帖子作者和標題
18def get_homepage(self):
19print("\n\t\t\t\t\t\t{}吧".format(self.name))
20res = requests.get(self.url, headers=headers)
21titles = re.findall('<a rel="noreferrer" href="/p/(\w+)" title="(.*?)"', res.text)
22authors = re.findall('title="主題作者: (.*?)"', res.text)
23for title, author in zip(titles, authors):
24print(str(titles.index(title) + 1) + "--" + author + "：" + title[1])
25print("\n****************************")
26n = int(input("請輸入您想要檢視的帖子序號："))
27print("****************************\n")
28self.get_page("http://tieba.baidu.com/p/" + titles[n - 1][0])
29
30# 顯示帖子的具體內容
31def get_page(self, page_url):
32res = requests.get(page_url, headers=headers)
33author_list = re.findall('p_author_name j_user_card.*?>(.*?)<', res.text)
34comment_list = re.findall('contentclearfix">(.*?)</div>', res.text, re.DOTALL)
35if len(comment_list) == 0:
36comment_list = re.findall('d_post_content j_d_post_content ">(.*?)</div>', res.text, re.DOTALL)
37
38# 帶回復框的單獨考慮
39comment_list2 = re.findall('post_bubble_middle_inner">(.*?)<div', res.text, re.DOTALL)
40num = 0
41
42# 處理圖片和表情，顯示對應的連結
43for author, comment in zip(author_list, comment_list):
44print(author.strip(), end=" : ")
45comment = comment.strip().replace('<br>', ' ')
46if "<div" in comment:# 解析有評論框的評論
47comment = comment_list2[num].replace('<br>', ' ').replace('</div>', ' ')
48num += 1
49if "src" in comment:# 處理圖片資訊
50src_list = re.findall('src="(.*?)"', comment)
51pattern_list = re.findall('(<img.*?>)', comment)
52for s, p in zip(src_list, pattern_list):
53comment = comment.replace(p, ' ' + s)
54if "href" in comment:# 處理表情資訊
55pattern_list = re.findall('(<a .*? >)', comment)
56for p in pattern_list:
57comment = comment.replace(p, ' ').replace("</a>", '')
58print(comment)
59
60while True:
61x = int(input("\n輸入1檢視下一頁，輸入0回到首頁，輸入-1退出程式："))
62if x == -1:
63exit()
64if x == 0:
65self.get_homepage()
66if x == 1:
67next_page = re.findall('<a href="(.*?)">下一頁', res.text)
68if len(next_page)>0:
69self.get_page("http://tieba.baidu.com" + next_page[0])
70else:
71print("已經是最後一頁了!")
72
73
74 # 利用selenium模擬瀏覽器查詢貼吧
75 def search():
76chrome_options = webdriver.ChromeOptions()
77chrome_options.add_argument('--headless')
78browser = webdriver.Chrome(chrome_options=chrome_options)
79
80browser.get("https://tieba.baidu.com/")
81name = input("請輸入想要進入的貼吧名字：")
82browser.find_element_by_xpath('//*[@id="wd1"]').send_keys(name)
83browser.find_element_by_xpath('//*[@id="tb_header_search_form"]/span[1]/a').click()
84url = browser.current_url
85if "tieba.baidu.com/f?ie=utf-8" in url:# 搜尋的貼吧存在
86print("正在進入{}吧，請稍等...".format(name))
87time.sleep(2)
88t = TieBa(name, url)
89t.get_homepage()
90else:
91print("沒有找到{}吧\n".format(name))
92main()
93
94
95 def main():
96x = int(input("輸入1搜尋進入貼吧，輸入-1退出程式："))
97if x == 1:
98search()
99else:
100exit()
101
102
103 if __name__ == '__main__':
104main()