Python爬取百度實時熱點排行榜

BeautifulSoup · 發表 2018-11-23 17:36:00

摘要：今天爬取的百度的實時熱點排行榜按照慣例，先下載網站的內容到本地： 1 def downhtml(): 2url = 'http://top.baidu.com/buzz?b=1&fr=20811' 3headers = {'User...

今天爬取的百度的實時熱點排行榜

按照慣例，先下載網站的內容到本地：

1 def downhtml():
2url = 'http://top.baidu.com/buzz?b=1&fr=20811'
3headers = {'User-Agent':'Mozilla/5.0'}
4r = requests.get('url',headers=headers)
5with open('C:/Code/info_baidu.html','wb') as f:
6f.write(r.content)

因為我習慣把網頁整個抓到本地再來分析資料，所以會有這一步，後面會貼直接抓取並分析的程式碼。

開始分析資料：

我想抓取的排名，關鍵詞和搜尋指數這三個值。

開啟網頁原始碼：

發現每個標題的各個元素是一個個td被包裝在一個tr標籤裡面，每一個標題都是一個tr（這裡注意前三個標題的tr標籤是有class=‘hideline’，而後面的則沒有）

排名：第一個tdclass=''first'

關鍵詞：第二個td cass = 'keyword'

搜尋指數：最後一個td class = 'last'

確定了我所需要的資料的位置了之後，可以開始寫程式碼了。

寫一個把開啟本地html並返回給BeautifulSoup呼叫的函式：

def send_html():#把本地的html檔案調給get_pages的BeautifulSoup
path = 'C:/Code/info_baidu.html'
htmlfile= open(path,'r')
htmlhandle = htmlfile.read()
return htmlhandle

這樣，我就可以在下面的直接用本地html來測試，而不用每次都去請求百度的伺服器了。

def get_pages(html):
soup = BeautifulSoup(html,'html.parser')
all_topics=soup.find_all('tr')[1:]#切片

因為第一個tr裝的是這些東西

<tr>
<th width="50" class="first">排名</th>
<th>關鍵詞</th>
<th width="30%" class="tc">相關連結</th>
<th width="20%" class="last">搜尋指數</th>
</tr>

並不是排名第一的標題，所以我用切片把它過濾掉了。

然後開始挨個賦值：

def get_pages(html):
soup = BeautifulSoup(html,'html.parser')
all_topics=soup.find_all('tr')[1:]
for each_topic in all_topics:
#print(each_topic)
topic_times = each_topic.find('td',class_='last').get_text()#搜尋指數
topic_rank = each_topic.find('td',class_='first').get_text()#排名
topic_name = each_topic.find('td',class_='keyword').get_text()#標題目
print('排名：{}，標題：{}，熱度：{}'.format(topic_rank,topic_name,topic_times))

這樣按道理來說應該是可以輸出了，但百度還是想給我一點難度。

這裡出現幾個問題，

1：AttributeError: 'NoneType' object has no attribute 'get_text'

2：輸出的格式

3：只有一個值

按照慣例，第一個問題應該是裡面多了一些不是Tag的型別，所以就來測試一下：

def get_pages(html):
soup = BeautifulSoup(html,'html.parser')
all_topics=soup.find_all('tr')[1:]
for each_topic in all_topics:
#print(each_topic)
topic_times = each_topic.find('td',class_='last')#搜尋指數
print(type(topic_times))

輸出如下：

我們可以發現前幾個值都參雜了NoneType（我去原始碼看了一下，並不知道是什麼導致的，等以後我知道了，再回來！）

因此，我們只要把NoneType給過濾掉就行。

def get_pages(html):
soup = BeautifulSoup(html,'html.parser')
all_topics=soup.find_all('tr')[1:]
for each_topic in all_topics:
#print(each_topic)
topic_times = each_topic.find('td',class_='last')#搜尋指數
topic_rank = each_topic.find('td',class_='first')#排名
topic_name = each_topic.find('td',class_='keyword')#標題目
# print('排名：{}，標題：{}，熱度：{}'.format(topic_rank,topic_name,topic_times))
if topic_rank != None and topic_name!=None and topic_times!=None:
topic_rank = each_topic.find('td',class_='first').get_text()
topic_name = each_topic.find('td',class_='keyword').get_text()
topic_times = each_topic.find('td',class_='last').get_text()
print('排名：{}，標題：{}，熱度：{}'.format(topic_rank,topic_name,topic_times))

輸出如下：

這樣就解決了第一個問題，發現可以輸出了，連第三個問題也解決了。

但第二個問題還在，這shit一般的格式讓我很難受，導致這樣的原因我猜是get_text時把一些空格符和換行符也一起輸出了。

所以用replace()就應該可以解決了。

if topic_rank != None and topic_name!=None and topic_times!=None:
topic_rank = each_topic.find('td',class_='first').get_text().replace(' ','').replace('\n','')
topic_name = each_topic.find('td',class_='keyword').get_text().replace(' ','').replace('\n','')
topic_times = each_topic.find('td',class_='last').get_text().replace(' ','').replace('\n','')
print('排名：{}，標題：{}，熱度：{}'.format(topic_rank,topic_name,topic_times))

輸出如下：

哦吼，這樣感覺就不錯了。

但強迫症患者感覺還是很難受啊，這個熱度（搜尋指數）的格式也太亂了。

經過一番搜尋，網友的力量還是很強大的啊哈哈哈，馬上就有辦法了。

if topic_rank != None and topic_name!=None and topic_times!=None:
topic_rank = each_topic.find('td',class_='first').get_text().replace(' ','').replace('\n','')
topic_name = each_topic.find('td',class_='keyword').get_text().replace(' ','').replace('\n','')
topic_times = each_topic.find('td',class_='last').get_text().replace(' ','').replace('\n','')
#print('排名：{}，標題：{}，熱度：{}'.format(topic_rank,topic_name,topic_times))
tplt = "排名：{0:^4}\t標題：{1:{3}^15}\t熱度：{2:^7}"
print(tplt.format(topic_rank,topic_name,topic_times,chr(12288)))

輸出如下：

本強迫症患者終於滿足了哈哈。

附上總程式碼：

 1 import requests
 2 from bs4 import BeautifulSoup
 3 import bs4
 4 
 5 
 6 def send_html():#把本地的html檔案調給get_pages的BeautifulSoup
 7path = 'C:/Code/info_baidu.html'
 8htmlfile= open(path,'r')
 9htmlhandle = htmlfile.read()
10return htmlhandle
11 
12 def get_pages(html):
13soup = BeautifulSoup(html,'html.parser')
14all_topics=soup.find_all('tr')[1:]
15for each_topic in all_topics:
16#print(each_topic)
17topic_times = each_topic.find('td',class_='last')#搜尋指數
18topic_rank = each_topic.find('td',class_='first')#排名
19topic_name = each_topic.find('td',class_='keyword')#標題目
20if topic_rank != None and topic_name!=None and topic_times!=None:
21topic_rank = each_topic.find('td',class_='first').get_text().replace(' ','').replace('\n','')
22topic_name = each_topic.find('td',class_='keyword').get_text().replace(' ','').replace('\n','')
23topic_times = each_topic.find('td',class_='last').get_text().replace(' ','').replace('\n','')
24#print('排名：{}，標題：{}，熱度：{}'.format(topic_rank,topic_name,topic_times))
25tplt = "排名：{0:^4}\t標題：{1:{3}^15}\t熱度：{2:^7}"
26print(tplt.format(topic_rank,topic_name,topic_times,chr(12288)))
27 
28 if __name__ =='__main__':
29get_pages(send_html())

。

還有直接爬取不用下載網頁的總程式碼：

 1 import requests
 2 from bs4 import BeautifulSoup
 3 import bs4
 4 
 5 def get_html(url,headers):
 6r = requests.get(url,headers=headers)
 7r.encoding = r.apparent_encoding 
 8return r.text
 9 
10 
11 def get_pages(html):
12soup = BeautifulSoup(html,'html.parser')
13all_topics=soup.find_all('tr')[1:]
14for each_topic in all_topics:
15#print(each_topic)
16topic_times = each_topic.find('td',class_='last')#搜尋指數
17topic_rank = each_topic.find('td',class_='first')#排名
18topic_name = each_topic.find('td',class_='keyword')#標題目
19if topic_rank != None and topic_name!=None and topic_times!=None:
20topic_rank = each_topic.find('td',class_='first').get_text().replace(' ','').replace('\n','')
21topic_name = each_topic.find('td',class_='keyword').get_text().replace(' ','').replace('\n','')
22topic_times = each_topic.find('td',class_='last').get_text().replace(' ','').replace('\n','')
23#print('排名：{}，標題：{}，熱度：{}'.format(topic_rank,topic_name,topic_times))
24tplt = "排名：{0:^4}\t標題：{1:{3}^15}\t熱度：{2:^8}"
25print(tplt.format(topic_rank,topic_name,topic_times,chr(12288)))
26 
27 def main():
28url = 'http://top.baidu.com/buzz?b=1&fr=20811'
29headers= {'User-Agent':'Mozilla/5.0'}
30html = get_html(url,headers)
31get_pages(html)
32 
33 if __name__=='__main__':
34main()

好了。完成任務，生活愉快！

Python爬取百度實時熱點排行榜

您可能也會喜歡…