使用 BeautifulSoup 和 Selenium 進行網頁爬取

Selenium BeautifulSoup · 發表 2018-10-09 10:26:15

摘要： HTML幾乎是平鋪直敘的。CSS是一個偉大的進步，它清晰地區分了頁面的結構和外觀。JavaScript新增一些魅力。道理上講是這樣的。現實世界還是有點不一樣。在本教程中，您將瞭解在瀏覽器中看到的內容是如何實際呈現的，以及如何在必要時進行抓取。特別是，您將學習如何計算Disqus...

HTML幾乎是平鋪直敘的。CSS是一個偉大的進步，它清晰地區分了頁面的結構和外觀。JavaScript新增一些魅力。道理上講是這樣的。現實世界還是有點不一樣。

在本教程中，您將瞭解在瀏覽器中看到的內容是如何實際呈現的，以及如何在必要時進行抓取。特別是，您將學習如何計算Disqus評論。我們的工具是Python和這門語言的很棒的包，比如request、BeautifulSoup和Selenium。

什麼時候應該使用網頁爬取?

網頁爬取是一種自動獲取被設計於實現人工使用者互動式網頁的內容、解析它們並提取一些資訊(可能是導航到其他頁面的連結)的實踐。如果沒有其他方法來提取必要的網頁資訊時，網頁爬取是很必要有效的技術方法。理想情況下，應用程式依靠提供好的專用API來程式設計自動獲得網頁的資料。可在下面幾種場所景之下你最好就別用網頁抓取技術了:

被爬取的網頁是脆弱的(您正在爬取的網頁可能會被頻繁更改)。
爬取被禁止(一些web應用程式有禁止爬取的策略)。
爬取速度可能會很慢和爬取內容過於繁雜的(如果你需要在很多無用資訊中尋找和涉獵你想要的東東)。

瞭解真實的網頁

讓我們通過檢視一些常見web應用程式程式碼的實現情況，來了解我們面臨的問題。例如在“ ofollow,noindex" target="_blank">Vagrant技術入門 ”這篇帖子的頁面底部有一些Disqus的評論:

為了爬取這些評論，我們需要首先在頁面上找到它們。

檢視頁面程式碼

自20世紀90年代以來，每個瀏覽器都支援檢視當前頁面的HTML程式碼。下面是在原始碼檢視下觀看到的是“ Vagrant技術入門 ”這篇帖子對應的原始碼內容的一個片段，這篇原始碼以大量與本文字身內容無關的被壓縮過的和醜陋的JavaScript程式碼開始。下面是其中的一”小“部分:

這是頁面中的一些實際HTML程式碼:

程式碼看起來亂糟糟，你竟然在頁面的原始碼中找不到Disqus評論，這讓你有些吃驚。

強大的內聯框架

原來頁面是一個”混搭“, Disqus評論被嵌入到iframe(內聯框架)元素中。你可以通過右鍵點選評論區域找到它，你會看到那裡有框架資訊和原始碼:

這是有意義的。將第三方內容嵌入iframe是使用iframe的主要應用場景之一。讓我們在主頁源中找到iframe標記。完蛋了!主頁源中沒有iframe標記。

JavaScript-Generated標記

這個遺漏的原因是view page source顯示了從伺服器獲取的內容。但是，由瀏覽器呈現的最終DOM(文件物件模型)可能非常不同。JavaScript開始工作，可以隨意操縱DOM。無法找到iframe，因為從伺服器檢索頁面時，它就是不存在。

靜態抓取 vs. 動態抓取

靜態抓取會忽略 JavaScript, 它可以不依靠瀏覽器而直接從伺服器端獲取網頁程式碼. 這就是你通過"檢視原始碼"所看到的東西, 然後你就可以進行資訊提取了. 如果你要查詢的內容已經存在於原始碼中, 那就不需要進一步的動作了. 可是, 如果你要查詢的內容像上文的 Disqus 評論一樣被嵌入iframe 中, 你就必須使用動態爬取來獲取內容.

動態爬取使用一個真實的瀏覽器(或無介面瀏覽器), 它先讓頁面內的 JavaScript 執行起來, 完成動態內容處理載入. 之後, 它再通過查詢 DOM 來獲取所要尋找的內容. 有時候, 你還需要讓瀏覽器自動模擬人的操作來得到你所需要的內容.

使用 Requests 和 BeautifulSoup 進行靜態抓取

讓我們來看看如何使用 Python 的兩個經典包來進行靜態抓取: requests 用來抓取網頁內容. BeautifulSoup用來解析 HTML.

安裝 Requests 和 BeautifulSoup

首先安裝 pipenv, 然後執行命令: pipenv install requests beautifulsoup4

它首先為你建立一個虛擬環境, 然後安裝這兩個包在虛擬環境裡. 如果你的程式碼在gitlab上, 你可以使用命令 pipenv install 來安裝.

獲取網頁內容

用 requests 抓取網頁內容只需要一行程式碼: r = requests.get(url).

程式碼返回一個 response 物件, 它包含大量有用的屬性. 其中最重要的屬性是 ok 和 content. 如果請求失敗, r.ok 為 False 並且 r.content 包含該錯誤資訊. content 代表一個位元組流, 做文字處理時, 你最好將它解碼成 utf-8.

>>> r = requests.get(' http://www.c2.com/no-such-page ')

>>> r.ok

False

>>> print(r.content.decode('utf-8'))

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">

<title>404 Not Found</title>

</head><body>

<h1>Not Found</h1>

<p>The requested URL /ggg was not found on this server.</p>

<hr>

Apache/2.0.52 (CentOS) Server at www.c2.com Port 80

</address>

</body></html>

如果程式碼正常返回沒有報錯, 那 r.content 會包含請求的網頁原始碼(就是"檢視原始碼"所看到的內容).

用 BeautifulSoup 查詢元素

下面的 get_page() 函式會獲取給定 URL 的網頁原始碼, 然後解碼成 utf-8, 最後再將 content 傳遞給 BeautifulSoup 物件並返回, BeautifulSoup 使用 HTML 解析器進行解析.

def get_page(url):

r = requests.get(url)

content = r.content.decode('utf-8')

return BeautifulSoup(content, 'html.parser')

我們獲取到 BeautifulSoup 物件後, 就可以開始解析所需要的資訊了.

BeautifulSoup 提供了很多查詢方法來定位網頁中的元素, 並可以深入挖掘出巢狀的元素.

Tuts+ 網站包含了很多培訓教程, 這裡是我的主頁. 在每一個頁面包含最多12篇教程, 如果你已經獲取了12篇的教程, 你就可以進入下一頁面了. 每一篇文章都被 <article> 標籤包圍著. 下面的函式就是發現頁面裡的所有 article 元素, 然後找到對應的連結, 最後提取出教程的 URL.

page = get_page(' https://tutsplus.com/authors/gigi-sayfan ')

articles = get_page_articles(page)

prefix = ' https://code.tutsplus.com/tutorials '

for a in articles:

print(a[len(prefix):])

Output:

building-games-with-python-3-and-pygame-part-5--cms-30085

building-games-with-python-3-and-pygame-part-4--cms-30084

building-games-with-python-3-and-pygame-part-3--cms-30083

building-games-with-python-3-and-pygame-part-2--cms-30082

building-games-with-python-3-and-pygame-part-1--cms-30081

mastering-the-react-lifecycle-methods--cms-29849

testing-data-intensive-code-with-go-part-5--cms-29852

testing-data-intensive-code-with-go-part-4--cms-29851

testing-data-intensive-code-with-go-part-3--cms-29850

testing-data-intensive-code-with-go-part-2--cms-29848

testing-data-intensive-code-with-go-part-1--cms-29847

make-your-go-programs-lightning-fast-with-profiling--cms-29809

使用 Selenium 動態爬取

靜態爬取很適合一系列的文章，但正如我們前面看到的，Disqus 的評論是由 JavaScript 寫在一個 iframe 中的。為了獲取這些評論，我們需要讓瀏覽器自動與DOM 互動。做這種事情最好的工具之一就是 Selenium 。

Selenium 主要用於 Web 應用自動化測試，但它也是一個不錯的通用瀏覽器自動化工具。

安裝 Selenium

用這個命令安裝 Selenium：pipenv install selenium

選擇你的 Web 驅動

Selenium 需要一個 Web 驅動（自動化用的瀏覽器）。對於網頁爬取來說，一般不需要在意選用哪個驅動。我建議使用 Chrome 驅動。 Selenium 手冊中有相關的介紹。

對比 Chrome 和 PhantomJS

某些情況下你可能想用沒有使用者介面的（headless）瀏覽器。理論上來說，PhantomJS 正好就是那款 Web 驅動。但是實際上有人報告一些只會在 PhantomJS 中出現的問題，這些問題在 Selenium 使用 Chrome 或 Firefox 時並不會出現。我喜歡從等式中刪除這一變數，使用實際的 Web 瀏覽器驅動。

統計 Disqus 評論數量

我們來搞點動態抓取，使用 Selenium 統計 Tuts+ 手機的 Disqus 評論數量。下面需要匯入的內容。

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.expected_conditions import (

presence_of_element_located)

from selenium.webdriver.support.wait import WebDriverWait

get_comment_count() 函式需要傳入 Selenium 驅動和 URL 作為引數。它使用驅動的 get() 方法從 URL 獲取內容。這和requests.get()相似，其不同之處在於使用驅動物件管理 DOM 的實時呈現。

然後，它獲取教程的標題，並使用 iframe 的父級 id，disqus_thread，和 iframe 標籤來定位 iframe：

def get_comment_count(driver, url):

driver.get(url)

class_name = 'content-banner__title'

name = driver.find_element_by_class_name(class_name).text

e = driver.find_element_by_id('disqus_thread')

disqus_iframe = e.find_element_by_tag_name('iframe')

iframe_url = disqus_iframe.get_attribute('src')

接下來獲取 iframe 的內容。注意我們要等到 comment-count 元素出現，因為評論是動態載入的，不一定可用。

driver.get(iframe_url)

wait = WebDriverWait(driver, 5)

commentCountPresent = presence_of_element_located(

(By.CLASS_NAME, 'comment-count'))

wait.until(commentCountPresent)

comment_count_span = driver.find_element_by_class_name(

'comment-count')

comment_count = int(comment_count_span.text.split()[0])

最後部分是返回最新的評論, 當然不包括我自己的評論. 方法是檢查我還沒有回覆的評論.

last_comment = {}

if comment_count > 0:

e = driver.find_elements_by_class_name('author')[-1]

last_author = e.find_element_by_tag_name('a')

last_author = e.get_attribute('data-username')

if last_author != 'the_gigi':

e = driver.find_elements_by_class_name('post-meta')

meta = e[-1].find_element_by_tag_name('a')

last_comment = dict(

author=last_author,

title=meta.get_attribute('title'),

when=meta.text)

return name, comment_count, last_comment

結論

網頁爬取是一個非常實用的技術, 尤其當你需要處理的資訊瀏覽器並不提供有用的API支援的時候. 它通常需要一些技巧來從現代web應用中提取資訊, 不過一些成熟的、設計良好的工具, 比如: requests、BeautifulSoup、Selenium 都會減輕你的工作並提高效率.

本文來自雲棲社群合作伙伴“開源中國”

本文作者：局長

ping-with-beautifulsoup-and-selenium--cms" target="_blank" rel="nofollow,noindex">原文連結