我們上次爬取了鬥破蒼穹全文小說，並儲存到本地TXT檔案，但是下載速度超級慢（不排除我這垃圾i5電腦的原因），我都玩了一盤王者榮耀，還沒有下載完成。j究其原因是我們只是應用了單程序爬取，所以爬取速度大打折扣。鑑於此我們本節介紹多程序爬蟲。

首先簡單介紹一下多程序。通常我們的計算機在執行程式時，他會自己建立一個包含程式碼和狀態的程序。這些程序會通過計算機的一個或者多個CPU執行，不過同一時刻一個CPU只能執行一個程序，但是不同的程序可以在同一條時間線上來回切換，由於計算機超高的執行速度，給我們的感覺就是他在執行多個程式。同理，同一個程序裡的不同執行緒之間也是如此。

首先來介紹多程序的使用方法

from multiprocessing import Pool
pool = Pool(processes = 4)
pool.map(func, urls)
 

首先要匯入需要使用的庫；第二行用於建立程序池，processes引數設定程序的個數；第三行利用map（）函式執行程序，func引數是需要呼叫的def模組，urls為可迭代的URL列表。 

下面為主程式

import requests
import re
from multiprocessing import Pool

def Solution(url):
    '''
    爬取網頁的函式，將爬取到的資料，儲存到TXT文件
    :param url: 傳入的url
    :return: 無返回值
    '''
    res = requests.get(url)
    name_list = re.findall('<h2>(.*?)</h2>',res.text,re.S)
    content_list = re.findall('<span>(.*?)</span>',res.text,re.S)
    for name, content in zip(name_list, content_list):
        return [name.strip(),'  ',content.strip(),'\n']


if __name__ == "__main__":
    urls = ['https://www.qiushibaike.com/text/page/{}/'.format(str(i)) for i in range(1,25)]
    pool = Pool(processes=4)
    with open('F:/exercise/多程序測試.txt', 'a') as f:
        for i in pool.map(Solution, urls):
                f.write(str(i))


 

1.首先匯入需要用到的庫

2.建立一個def，利用requests獲取網頁資訊，利用正則表示式獲取使用者姓名，發表文章內容，再利用for迴圈，以列表形式返回我們獲取到的內容

3.主函式：建立可迭代的url列表。建立程序池，數量為四個。

     3.1利用  with  建立一個對話。在這個對話裡面，以追加 ‘ a ’ 的方式利用for迴圈將Solution函式返回的內容寫入TXT檔案。如果利用的是 ‘w' 模式，那麼每次新寫入的內容都會覆蓋原先的內容，而追加 ’a' 則是在後面追加需要新增的內容。

你可以更換為‘w’ 模式試一下

--------------------------------------分割線------------------------------------------------------

關於python多程序的相關知識請參考為另一篇博文python 多程序