Python 爬蟲第三篇（迴圈爬取多個網頁）

摘要： 本篇是 python 爬蟲的第三篇，在前面兩篇Python 爬蟲第一篇（urllib+regex） 和Python 爬蟲第二篇（urllib+BeautifulSoup） 中介紹瞭如何獲取給定網址的網頁資訊，並解析其中的內容。本篇將更進一步，根據給定網址獲取並解析...

本篇是 python 爬蟲的第三篇，在前面兩篇Python 爬蟲第一篇（urllib+regex） 和Python 爬蟲第二篇（urllib+BeautifulSoup） 中介紹瞭如何獲取給定網址的網頁資訊，並解析其中的內容。本篇將更進一步，根據給定網址獲取並解析給定網址及其相關聯網址中的內容。要實現這些功能，我們需要解決以下問題：

1. 如何持續不斷的獲取網址，並讀取相關內容。
2. 如何判斷網址是否已經讀取過。

文中用到的程式碼均已上傳到 github ，在這裡就不再貼出完整的程式碼了。

如何持續不斷的獲取網址，並讀取相關內容？

要想讀取網頁內容，首先要獲取網頁的 url，但是我們又不能將所有的 url 都輸入到程式中，此時就需要我們從已知的 url 中解析出其他的 url，從而不間斷的獲取新的 url讀取新的內容，獲取新的 url 可以通過解析含有 href 屬性的 a 標籤來實現，具體程式碼如下：

for link in html.find_all(name='a', href=re.compile(r'https?://list|item.szlcsc.+')):
if len(self.__url_set) > self.__max_url_count:
return
url = link.get('href')

以上程式碼解析出所有的 a 標籤中的 href 屬性內容以https://list.szlcsc 和https://item.szlcsc 為開頭的 url 連線。在這裡還是設定了一個最大的 url 解析量「由於在測試中需要一個停止條件」，預設值為1000。

從一個 url 中獲取到更多的 url 後，我們該怎麼去讀取？以什麼順序去讀取？不可能獲取一個 url 就讀取一個 url，此時就需要一個儲存 url 的地方「最好是可以順序儲存順序取出的」，那麼最好的方法就是使用隊列了，以下是將 url 放入佇列的程式碼：

for link in html.find_all(name='a', href=re.compile(r'https?://list|item.szlcsc.+')):
if len(self.__url_set) > self.__max_url_count:
return
url = link.get('href')
if url not in self.__url_set:
self.__url_set.add(url)
self.__url_queue.put(url)

以下是從佇列中取出 url 的程式碼：

while not self.__url_queue.empty():
count = count + 1
url = self.__url_queue.get()
result = self.get_html(url)

以上兩段程式碼完成了一個 url 從存入佇列到從佇列中出的全過程。

如何判斷網址是否已經讀取過？

這個問題實際上就是 url 去重的問題，常用的 url 去重的方法主要有以下幾種：

1. url儲存在資料庫中（效率低）
2. 將 url 儲存到集合中，利用集合的無重複元素的特性來去重，缺點是佔用空間大。
3. 將 url 通過 md5 等雜湊演算法後儲存到集合中去重，可以大幅度提高內容利用率。
4. 使用布隆過濾器「Bloom Filter」，在時間和空間方面有巨大的優勢，但是存在一定的誤算率，不適用於高準確度的場合。

本篇我們使用集合來對 url 進行去重，其他方法大家可以自行搜尋一下，網上有很多這方面的資料。

集合中的元素無次序，且不可重複。元素不可重複的特性用來對 url 去重在合適不過了，通過判斷 url 是否已經在集合中可以快速判斷該 url 是否已經讀取過。具體看以下程式碼：

if url not in self.__url_set:
self.__url_set.add(url)
self.__url_queue.put(url)

以上程式碼首先判斷 url 是否存在於 __url_set 中，如果不存在則將該 url 新增到 __url_set 中，同時將次 url 放入讀取佇列中進行讀取。這樣既對得到的每個 url 進行讀取，又避免了多次讀取同一個 url 造成資源的浪費。