在這一篇文章中，我們主要來介紹多執行緒抓取資料。

多執行緒是以併發的方式執行的，在這裡要注意，Python的多執行緒程式只能執行在一個單核上以併發的方式執行，即便是多核的機器，所以說，使用多執行緒抓取可以極大地提高抓取效率

下面我們以requests為例介紹多執行緒抓取，然後在通過與單執行緒程式比較，體會多執行緒的效率的提高

這一次，我就不用我的網站做測試了，因為網站的內容此時還並不是太多，不能體現多執行緒的優勢

我們通過當當網來測試我們的多執行緒例項，通過對搜尋結果的同一抓取實現功能的演示，搜尋模式地址如下

http://search.dangdang.com/?key=Python&act=input&page_index=1

　可以看到key代表的是搜尋關鍵字，act代表你是通過什麼方式搜尋的，page_index代表的是搜尋頁面的頁碼

在抓取到上面的頁碼後，要對裡面的資訊進行提取，最後將提取的資訊儲存在文字檔案中，檔案中儲存每一本書的書名，以及他的連結

下面我們定義抓取實驗所需要的方法(或函式)

# coding=utf-8
__Author__ = "susmote"

import requests
from bs4 import BeautifulSoup


def format_str(s):
    return s.replace("\n", "").replace(" ", "").replace("\t", "")

def get_urls_in_pages(from_page_num, to_page_num):
    urls = []
    search_word = "python"
    url_part_1 = "http://search.dangdang.com/?key="
    url_part_2 = "&act=input"
    url_part_3 = "&page_index="
    for i in range(from_page_num, to_page_num + 1):
        urls.append(url_part_1 + search_word + url_part_2 + url_part_3 + str(i))
    all_href_list = []
    for url in urls:
        print(url)
        resp = requests.get(url)
        bs = BeautifulSoup(resp.text, "lxml")
        a_list = bs.find_all("a")
        needed_list = []
        for a in a_list:
            if 'name' in a.attrs:
                name_val = a['name']
                href_val = a['href']
                title = a.text
                if 'itemlist-title' in name_val and title != "":
                    if [title, href_val] not in needed_list:
                        needed_list.append([format_str(title), format_str(href_val)])
        all_href_list += needed_list
    all_href_file = open(str(from_page_num) + '_' + str(to_page_num) + '_' + 'all_hrefs.txt', 'w')
    for href in all_href_list:
        all_href_file.write('\t'.join(href) + '\n')
    all_href_file.close()
    print(from_page_num, to_page_num, len(all_href_list))
 

　　下面我們來解釋一下這些程式碼

首先，format_str是用來在提取資訊後去掉多餘的空白

而get_url_in_pages方法是執行功能的主體，這個方法接收的引數是指頁碼的範圍，函式體中，urls主要用來存放基於兩個引數所生成的所有要抓取的頁面的連結，我把url分為3個部分，也是為了方便之後對連結的組合，然後的for迴圈就是做的是拼接的工作，這裡我不多做解釋了，如果不懂，請留言

下一步，我們定義了一個列表all_href_list ,這個列表是用來儲存每頁中包含圖書資訊的，實際上它又是一個巢狀的列表，裡面的元素是[書名， 連結],他的形式如下所示

all_href_list = [
    ['書名1'， "連結1"],
    ['書名2'， "連結2"],
    ['書名3'， "連結3"],
    ......
]
 

後面的程式碼就是對滅一頁進行抓取和提取資訊了，這部分的程式碼都在for url in urls這個迴圈體中，首先列印連結，然後呼叫requs的get方法，獲取頁面，之後又使用BeautifulSoup將get請求放回的HTML文字進行分析，轉為BeautifulSoup能夠處理的結構，命名為bs

之後我們定義的needed_list是用來存放書名和連結的，bs.find_all('a')抽取了頁面中所有的連結元素,for a in a_list 對每一個列表中的元素進行遍歷分析，在這之前，我們通過瀏覽器發現了他的結構

每個書籍元素中都會有一個屬性name,值為"itemlist_title"，通過這個我們很容易的就篩選出了書籍元素，然後將書籍資訊，以及連結元素href一同存入列表，在存之前，我們還做了一些判斷，是否已經存在這個連結了，和這個元素的連結為空

每抽取完一個頁面的連結後，就可以把它加入到all_href_list中，也就是下面這行程式碼

all_href_list += needed_list

　　注意我在這裡使用的是 += 運算子

獲取到範圍內所有的連結元素後，就可以寫入檔案了，在這裡我不做過多解釋了

然後我們下一步就是定義多執行緒了，因為我們搜尋關鍵詞總的頁數是32頁

所以我們在這裡準備用3個執行緒來完成這些任務，也就是每個執行緒處理10個頁面，在單執行緒的情況下，這30頁用一個執行緒單獨完成

下面我們給出抓取方案的程式碼

# coding=utf-8
__Author__ = "susmote"

import time
import threading
from mining_func import get_urls_in_pages

def multiple_threads_test():
    start_time = time.time()
    page_range_list = [
        (1, 10),
        (11, 20),
        (21, 32),
    ]
    
    th_list = []
    for page_range in page_range_list:
        th = threading.Thread(target = get_urls_in_pages, args = (page_range[0], page_range[1]))
        th_list.append(th)
    
    for th in th_list:
        th.start()
        
    for th in th_list:
        th.join()
        
    end_time = time.time()
    print("共使用時間1:", end_time - start_time)
    return end_time - start_time

簡單解釋一下，為了獲取執行的時間，我們定義了一個開始時間start_time 和 一個結束時間end_time，執行時間也就是結束時間減去開始時間

然後定義的一個列表page_range_list也就是把頁碼分為三段，前面有提到過

之後又定義了一個列表th_list也就是儲存所有執行緒物件的列表，之後通過一個迴圈，生成了3個執行緒物件，分別對應著不同的頁碼範圍，把他們存入列表

然後在後面的迴圈中，分別執行th.start()，開啟執行緒，在後面，我們為了使這些非同步併發執行的執行緒都執行完畢後再退出函式，這裡使用了執行緒的join方法,等待各執行緒執行完畢

下面就是最激動人心的時候了，對程式碼進行測試

在這裡，我們寫下如下程式碼

# coding=utf-8
__Author__ = "susmote"

from mining_threading import multiple_threads_test

if __name__ == "__main__":
    mt = multiple_threads_test()
    print('mt', mt)

為了使測試結果更加精確，我們進行三次實驗，取平均時間 

第一次實驗

使用時間6.651

第二次實驗

使用時間6.876

第三次實驗

使用時間6.960

平均時間如下

6.829

下面是單程序程式碼

# coding=utf-8
__Author__ = "susmote"

import time
from mining_func import get_urls_in_pages


def sigle_test():
    start_time = time.time()
    get_urls_in_pages(1, 32)
    end_time = time.time()
    print("共使用時間 : ", end_time - start_time)
    return end_time - start_time 

呼叫函式如下

# coding=utf-8
__Author__ = "susmote"

from single_mining import single_test


if __name__ == "__main__":
    st = single_test()
    print('st ', st) 

在命令列下執行

第一次

10.138

第二次

10.290

第三次

10.087

平均花費時間

10.171

所以說，多執行緒的確能夠提高抓取的效率，注意，這是在資料比較少的情況進行的，如果資料量比較大的話，多執行緒的優勢就很明顯了

你可以自己去更改搜尋關鍵詞，和頁碼，或是重新找一個網頁(抓取跟網速也有很大的關係)

附幾張抓取資料的圖