用Python爬取了考研吧1000條帖子，原來他們都在討論這些！
阿新 • • 發佈：2020-01-15
寫在前面
考研在即，想多瞭解考研er的想法，就是去找學長學姐或者去網上搜索，貼吧就是一個好地方。而藉助強大的工具可以快速從網路魚龍混雜的資訊中得到有價值的資訊。雖然網上有很多爬取百度貼吧的教程和例子，但是貼吧規則更新快，目的不一樣，爬取的內容也不一樣，所以就有了這個工具。
目的
爬取1000條帖子→判斷是否是廣告或者垃圾資訊→分析語言情感→生成詞雲
一、分析
1.1 先檢視貼吧的規則，果然有規律，每一頁是50條帖子
1.2 帖子內容，也有規律，都在這個標籤裡面
1.3 判斷內容就用百度AI的內容稽核，情感分析也用百度AI了，省事
1.4 詞雲可以先用jieba分詞然後再用wordcloud生成，但是後來發現網上有現成的工具
二、爬取過程
2.1 首先解決的一個小問題就是讓它自己計算一下每頁是50條帖子，我輸入1000條它應該去爬取那幾個頁面，就用這種數學計算就行
2.2爬取過程程式碼，爬取後就呼叫內容稽核以及情感分析，然後寫入檔案
def gettbtz(tbname,tznum): ####根據給出的貼吧和帖子數（50的整數倍）獲得所有帖子 n = -50 tznum = int(tznum) ###z這裡是要根據貼吧的規則，每頁顯示50條帖子 emotions = 0 while (tznum > n): n = n + 50 print("正在爬取前" + str(n) + "條帖子") url = "http://tieba.baidu.com/f?kw=" + tbname + "&ie=utf-8&pn=" + str(n) soup = BeautifulSoup(requests.get(url).text,'lxml') ###爬取動作 a = soup.find_all('div',class_='threadlist_abs threadlist_abs_onlyline') for a in a: ###接下來以此判斷文字是否合規，然後判斷情感正向傾向指數，然後寫入檔案 if BDAITEXT(a.text) == "合規": print("爬取到合規帖子,正在寫入檔案：" + a.text) with open("resaults.txt","a+",encoding='utf-8') as f: f.write(str(a.text)) ###寫入這裡特意轉換一下資料型別，避免後面發生文字編碼錯誤 try: emotions = emotions + BDAIemotion(a.text) print("當前累計情感指數：" + str(emotions)) except: print("情感分析出錯，跳過") else: print("帖子不合規，跳過") time.sleep(10) ###君子協議，10秒暫停 f.close()
三、百度人工智慧API呼叫
3.1 百度AK獲取，就是要先到百度AI開發平臺註冊一個開發者賬號，然後建立應用，獲取應用id和金鑰，然後得到這樣一個呼叫的金鑰
# client_id 為官網獲取的AK， client_secret 為官網獲取的SK host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【應用ID】&client_secret=【SK】' response = requests.get(host) if response: print(response.json())
3.2 內容稽核API呼叫
def BDAITEXT(text): ####百度AI文字稽核，返回合規或者不合規
content = {"text": text}
r = requests.post(BDAItexturl,content).text
if r:
rback = json.loads(r)
return rback["conclusion"]3.3 情感分析API呼叫
def BDAIemotion(text): ####百度AI情感分析，返回一個數值
content = {"text": text}
content = json.dumps(content)
r = requests.post(BDAIemotionurl,content).text
if r:
rback = json.loads(r)
return rback['items'][0]['positive_prob']四、詞雲生成
有很多線上工具，匯入大段文字，然後根據需要進行文字的過濾、分詞，然後設定顏色、樣式就可以生成詞雲。
五、資訊分析
看詞雲，結果不言而喻，提早地準備、豐富的經驗、專業課、數學、政治、院校選擇…………
從情感上來看，大多數情感指數偏向積極，說明對待考研還是需要一個積極的態度。
執行截圖
待改進
1.應該多執行緒，速度太慢了
2.爬取了帖子，沒有爬取評論
3.情感分析有很多出錯