1.前言

1.1 抓取網頁

本文將舉例說明抓取網頁資料的三種方式：正則表示式、BeautifulSoup、lxml。
獲取網頁內容所用程式碼詳情請參照Python網路爬蟲-你的第一個爬蟲。利用該程式碼獲取抓取整個網頁。

import requests


def download(url, num_retries=2, user_agent='wswp', proxies=None):
    '''下載一個指定的URL並返回網頁內容
        引數：
            url(str): URL
        關鍵字引數：
            user_agent(str):使用者代理（預設值：wswp）
            proxies（dict）： 代理（字典）: 鍵：‘http’'https'
            值：字串（‘http(s)://IP’）
            num_retries(int):如果有5xx錯誤就重試（預設：2）
            #5xx伺服器錯誤，表示伺服器無法完成明顯有效的請求。
            #https://zh.wikipedia.org/wiki/HTTP%E7%8A%B6%E6%80%81%E7%A0%81
    '''
 

    print('==========================================')
    print('Downloading:', url)
    headers = {'User-Agent': user_agent} #頭部設定，預設頭部有時候會被網頁反扒而出錯
    try:
        resp = requests.get(url, headers=headers, proxies=proxies) #簡單粗暴，.get(url)
        html = resp.text #獲取網頁內容，字串形式
        if resp.status_code >= 400
 
: #異常處理，4xx客戶端錯誤 返回None
            print('Download error:', resp.text)
            html = None
            if num_retries and 500 <= resp.status_code < 600:
                # 5類錯誤
                return download(url, num_retries - 1)#如果有伺服器錯誤就重試兩次

    except requests.exceptions.RequestException as
 
 e: #其他錯誤，正常報錯
        print('Download error:', e)
        html = None
    return html #返回html

1.2 爬取目標

#正則表示式：
re.search(r'<tr id="places_area__row">.*?<td class="w2p_fw">(.*?)</td>').groups()[0] # .*?表示任意非換行值，（）是分組，可用於輸出。
#BeautifulSoup
soup.find('table').find('tr', id='places_area__row').find('td', class_="w2p_fw").text
#lxml_css selector
tree.cssselect('table > tr#places_area__row > td.w2p_fw' )[0].text_content()
#lxml_xpath
tree.xpath('//tr[@id="places_area__row"]/td[@class="w2p_fw"]' )[0].text_content()

Chrome 瀏覽器可以方便的複製出各種表達方式：

有了以上的download函式和不同的表示式，我們就可以用三種不同的方法來抓取資料了。

2.不同方式抓取資料

2.1 正則表示式爬取網頁

正則表示式不管在python還是其他語言都有很好的應用，用簡單的規定符號來表達不同的字串組成形式，簡潔又高效。學習正則表示式很有必要。https://docs.python.org/3/howto/regex.html。 python內建正則表示式，無需額外安裝。

import re


targets = ('area', 'population', 'iso', 'country', 'capital', 'continent',
           'tld', 'currency_code', 'currency_name', 'phone', 'postal_code_format',
           'postal_code_regex', 'languages', 'neighbours')

def re_scraper(html):
    results = {}
    for target in targets:
        results[target] = re.search(r'<tr id="places_%s__row">.*?<td class="w2p_fw">(.*?)</td>'
                                    % target, html).groups()[0]
    return results

2.2BeautifulSoup抓取資料

from bs4 import BeautifulSoup


targets = ('area', 'population', 'iso', 'country', 'capital', 'continent',
           'tld', 'currency_code', 'currency_name', 'phone', 'postal_code_format',
           'postal_code_regex', 'languages', 'neighbours')

def bs_scraper(html):
    soup = BeautifulSoup(html, 'html.parser')
    results = {}
    for target in targets:
        results[target] = soup.find('table').find('tr', id='places_%s__row' % target) \
            .find('td', class_="w2p_fw").text
    return results

2.3 lxml 抓取資料

from lxml.html import fromstring


def lxml_scraper(html):
    tree = fromstring(html)
    results = {}
    for target in targets:
        results[target] = tree.cssselect('table > tr#places_%s__row > td.w2p_fw' % target)[0].text_content()
    return results


def lxml_xpath_scraper(html):
    tree = fromstring(html)
    results = {}
    for target in targets:
        results[target] = tree.xpath('//tr[@id="places_%s__row"]/td[@class="w2p_fw"]' % target)[0].text_content()
    return results

2.4 執行結果

scrapers = [('re', re_scraper), ('bs',bs_scraper), ('lxml', lxml_scraper), ('lxml_xpath',lxml_xpath_scraper)]
html = download('http://example.webscraping.com/places/default/view/Australia-14')
for name, scraper in scrapers:
    print(name,"=================================================================")
    result = scraper(html)
    print(result)

==========================================
Downloading: http://example.webscraping.com/places/default/view/Australia-14
re =================================================================
{'area': '7,686,850 square kilometres', 'population': '21,515,754', 'iso': 'AU', 'country': 'Australia', 'capital': 'Canberra', 'continent': '<a href="/places/default/continent/OC">OC</a>', 'tld': '.au', 'currency_code': 'AUD', 'currency_name': 'Dollar', 'phone': '61', 'postal_code_format': '####', 'postal_code_regex': '^(\\d{4})$', 'languages': 'en-AU', 'neighbours': '<div><a href="/places/default/iso//"> </a></div>'}
bs =================================================================
{'area': '7,686,850 square kilometres', 'population': '21,515,754', 'iso': 'AU', 'country': 'Australia', 'capital': 'Canberra', 'continent': 'OC', 'tld': '.au', 'currency_code': 'AUD', 'currency_name': 'Dollar', 'phone': '61', 'postal_code_format': '####', 'postal_code_regex': '^(\\d{4})$', 'languages': 'en-AU', 'neighbours': ' '}
lxml =================================================================
{'area': '7,686,850 square kilometres', 'population': '21,515,754', 'iso': 'AU', 'country': 'Australia', 'capital': 'Canberra', 'continent': 'OC', 'tld': '.au', 'currency_code': 'AUD', 'currency_name': 'Dollar', 'phone': '61', 'postal_code_format': '####', 'postal_code_regex': '^(\\d{4})$', 'languages': 'en-AU', 'neighbours': ' '}
lxml_xpath =================================================================
{'area': '7,686,850 square kilometres', 'population': '21,515,754', 'iso': 'AU', 'country': 'Australia', 'capital': 'Canberra', 'continent': 'OC', 'tld': '.au', 'currency_code': 'AUD', 'currency_name': 'Dollar', 'phone': '61', 'postal_code_format': '####', 'postal_code_regex': '^(\\d{4})$', 'languages': 'en-AU', 'neighbours': ' '}

從結果可以看出正則表示式在某些地方返回多餘元素，而不是純粹的文字。這是因為這些地方的網頁結構和別的地方不同，因此正則表示式不能完全覆蓋一樣的內容，如有的地方包含連結和圖片。而BeautifulSoup和lxml有專門的提取文字函式，因此不會有類似錯誤。

既然有三種不同的抓取方式，那有什麼區別？應用場合如何？該如何選擇呢？

3. 爬蟲效能對比

上面的爬蟲由於爬取資料量有限，因此無法對比它們的效能。接下來將對比它們爬取大量資料時的效能。

目標：爬取網頁所有顯示內容，重複1000次，比較不同爬蟲的爬取時間。
準備：匯入網頁爬取函式download,匯入所有爬蟲。

開始coding：

import time
import re
from chp2_all_scrapers import re_scraper, bs_scraper, lxml_scraper, lxml_xpath_scraper
from chp1_download import download

num_iterations = 1000  # 每個爬蟲測試1000次
html = download('http://example.webscraping.com/places/default/view/Australia-14')

scrapers = [('re', re_scraper), ('bs', bs_scraper), ('lxml', lxml_scraper),
            ('lxml_xpath', lxml_xpath_scraper)]

for name, scraper in scrapers:
    start_time = time.time()
    for i in range(num_iterations):
        if scraper == re_scraper:
            re.purge() #清除快取，保證公平性
        result = scraper(html)
        # 檢測結果是否為想要的
        assert result['area'] == '7,686,850 square kilometres'
    end_time = time.time()
    print("=================================================================")
    print('%s: %.2f seconds' % (name, end_time - start_time))

注意：re.purge() 是為了清除快取。因為正則表示式預設情況下會快取搜尋，需要對其清除以保證公平性。如果不清除快取，後面的999次都是在作弊，結果驚人！

執行結果：

Downloading: http://example.webscraping.com/places/default/view/Australia-14
=================================================================
re: 2.40 seconds
=================================================================
bs: 18.49 seconds
=================================================================
lxml: 3.82 seconds
=================================================================
lxml_xpath: 1.53 seconds

Process finished with exit code 0

#作弊結果
Downloading: http://example.webscraping.com/places/default/view/Australia-14
=================================================================
re: 0.19 seconds
=================================================================
bs: 18.12 seconds
=================================================================
lxml: 3.43 seconds
=================================================================
lxml_xpath: 1.50 seconds

Process finished with exit code 0

從結果可以明顯看出正則表示式和lxml的效能差不多，採用xpath效能最佳，BeautifulSoup效能最差！ 因為BeautifulSoup是純python寫的而lxml是c寫的，效能可見一斑。

絕大部分網上教程都在使用BeautifulSoup寫爬蟲，這是因為BeautifulSoup可讀性更高，更加人性，而css selector 和xpath需要學習他們特有的表達方式，但是絕對值得學習的。效能提高不止十倍（相對）！

4.結論

因此在爬取少量資料時，BeautifulSoup可以勝任，而且易讀性高，但是大量資料採集時就建議使用lxml。