手把手超詳細教程教你Scrapy爬達蓋爾社區，有彩蛋哦！

繁華落盡and曲終人散 2018-05-17 19:11

好了，廢話不多說，學習代碼就是要學以致用的。不能寫了一遍代碼就讓代碼吃灰。下面就跟我一起來搞吧。

小草網站是個好網站，我們這次實戰的結果，是要把“達蓋爾旗幟”裏面的帖子爬取下來，將帖子的圖片保存到本地，同時將帖子的一些相關信息，寫入到本地的MongoDB中。這麽乍一聽，感覺我們做的事情好像挺多的，別慌，我帶你慢慢的一步一步來搞起，問題不是很大。

看到，創建scrapy的工程的命令是 $ scrapy startproject <name> 創建完的結果如下：

OK，這個時候，我們的目錄內容變成了如下結構：

下一步就是創建我們的爬蟲，還是依靠Scrapy本身自帶的命令來創建。輸入Scrapy自帶四種爬蟲模板： basic ， crawl ， csvfeed 和 xmlfeed 四種。我們這裏選擇basic。

$ scrapy genspider --template=basic superspider bc.ghuws.men

創建成功，會出現以下提示：

這時候我們的工程目錄就變成了這個樣子：

看到我們的工程裏面多了一個spiders文件夾，裏面有一個 superspider.py 文件，這個就是我們這次程序的主角。我們來看，這個可愛的小蟲子剛生下來是長這個樣子的：

目前網頁已經解析好了，下一步就是要在html文件中，找到每一個帖子的信息。我們回頭來看html文件的源碼，可以看到，每一個帖子其實都是在一個 <tr> tag裏面，其實我們需要的東西，就是下圖紅色框框裏面圈的 <a> tag。

第二個數字“1805”，應該就是“年份+月份”。如果不信，則可以跳到比如論壇100頁，看到的是16年3月份的帖子，這裏面隨便檢查一個連接的href值，是“1603”。這就印證了我們的想法是正確的。好，按照這個篩選18年的帖子的思路，我們來篩選一下 a_list 。

目前為止，我們拿到了帖子的id和帖子的url。我們的最終目的是要下載圖片，所以，我們得讓爬蟲去按照帖子的url去爬取他們。爬蟲需要進入第二層。這裏，我們需要使用 yield

現在我們已經進入了每一個帖子的內部，我們現在還沒有拿到的信息有帖子的標題和帖子的圖片。還是和parse()的步驟一樣，這個時候，我們就該分析帖子的html文件了。

我們先找標題。看到html文件中，標題對應的是一個 <h4> 標簽。

那這就簡單了，我們只需要找到所有的 <h4> 標簽，然後看標題是第幾個就好。接下來是圖片了。每個帖子用的圖床都不一樣，所以圖片部分，我們先來看一下結構：

大概就是這兩種，我們看到，圖片的標簽是 <input> ，關鍵點就在 type=image 上面，所以我們嘗試著看看能不能根據這個來找到圖片的地址。

我們簡單測試一下，看看運行效果：

完全沒有問題，看著好爽。這時候，我們看結果，會發現，我們抓取到的image，會有一兩個的圖床是不一樣的。

打開也會看到這個圖片，裏面的內容也和其他的圖片不一樣，並且這個圖片不是我們想要的。所以，這裏我們得做一下過濾。我這裏的方法就是要從找到的 image_list 裏面，把少數圖床不一樣的圖片url給過濾掉。一般看來，都是找到的第一個圖片不是我們想要的，所以我們這裏只是判斷一下第一個和第二個是否一樣就可以。

這樣打印出來的結果就沒有問題嘍。

哈哈，現在我們已經拿到了帖子的id，標題，帖子的url地址，還有帖子裏面圖片的url地址。離我們的目標又近了一步。我之前說過，我們的目標是要把每張圖片都保存在本地，目前我們只是拿到了每張圖片的url。所以，我們需要把圖片都下載下載下來。

其實，當拿到圖片的URL進行訪問的時候，通過http返回的數據，雖然是字符串的格式，但是只要將這些字符串保存成指定的圖片格式，我們在本地就可以按照圖片的解析來打開。這裏，我們拿到帖子的 image_list ，就可以在yield出一層請求，這就是爬蟲的第三層爬取了。

同時，在第三層爬蟲裏面，我們還需要將訪問回來的圖片保存到本地目錄。那麽代碼就長這個樣子：

在上面第二次爬取函數的最後，有個地方需要註意一下，就是上圖中紅色框框圈出來的地方。這裏需要加上 dont_filter=True 。否則就會被Scrapy給過濾掉。因為圖床的地址，並未在我們剛開始的 allow_domain 裏面。加上這個就可以正常訪問了。

這樣運行一遍，我們的本地目錄裏面就會有保存好的下載照片了。

我們還有個問題，就是我們需要將每個帖子的信息（ id，title，url， 和 image ）都保存到本地的數據庫中。這個該怎麽做？

別慌，這個其實很簡單。

首先，我們得針對每個帖子，建立一個Scrapy的item。需要在items.py裏面編寫代碼：

寫好之後，我們需要在爬蟲裏面引入這個類，在第二層解析函數中，構建好item，最後yield出來。這裏，yield出來，會交給Scrapy的 pipeline 來處理。

yield出來的item會進入到pipeline中。但是這裏有個前提，就是需要將pipeline在settings.py中設置。

pipeline中我們先打印帖子的id，看看數據能不能夠傳入到這裏

運行：

看到數據是完全可以過來的，而且在Scrapy的log中，會打印出來每一個item裏面的信息。

我們如果想把數據保存到 MongoDB 中，這個操作就應該是在pipeline中完成的。Scrapy之所以簡歷pipeline就是為了針對每個item，如果有特殊的處理，就應該在這裏完成。那麽，我們應該首先導入 pymongo 庫。然後，我們需要在pipeline的 __init__() 初始化進行連接數據庫的操作。整體完成之後，pipeline應該長這個樣子：

那麽我們來測試一下數據是否能夠存入到MongoDB中。首先，在terminal中，通過命令 $ sudo mongod 來啟動MongoDB。

那麽運行一下，看一下效果：

可以看到，左側，有名為 Daguerre 的數據庫，裏面有名為 postTable 的表，而且我們的數據成功的寫入了數據庫中。數據的格式如圖所展示，和我們預期的結果是一樣的。

目前為止，我們完成了：從一頁page中，獲得所有帖子的url，然後進入每個帖子，再在帖子中，爬取每個帖子的圖片，下載保存到本地，同時把帖子的信息存儲到數據庫中。

但是，這裏你有沒有發現一個問題啊？我們只爬取了第一頁的數據，那如何才能爬取第二頁，第三頁，第N頁的數據呢？

別慌，只需要簡單的加幾行代碼即可。在我們的spider文件中的 parse() 方法地下，加一個調用自己的方法即可，只不過，傳入的url得是下一頁的url，所以，我們這裏得拼湊出下一頁的url，然後再次調用 parse() 方法即可。這裏為了避免無限循環，我們設定一個最大頁數 MAX_PAGES為3，即爬取前三頁的數據。

OK，這樣就完事兒了，這個達蓋爾旗幟的爬蟲就寫好了。我們運行一下瞅瞅效果：

是不是非常的酷炫？再來看看我們的運行結果：

只能說，戰果累累，有圖有真相。

其實，這個程序，可以加入middleware，為http請求提供一些Cookie和User-Agents來防止被網站封。同時，在settings.py文件中，我們也可以設置一下 DOWNLOAD_DELAY來降低一下單個的訪問速度，和 CONCURRENT_REQUESTS 來提升一下訪問速度。

就像之前EpicScrapy1024項目裏面一樣。喜歡的同學，可以去借鑒那個項目代碼，然後融會貫通，自成一派，爬遍天下網站，無敵是多麽的寂8 寞~~~~

好啦，能看到這裏說明少年你很用心，很辛苦，是一個可塑之才。

廢話不說，看到這裏是有獎勵的。關註“ 皮克啪的鏟屎官 ”，回復“ 達蓋爾 ”，即可獲得項目源碼和說明文檔。同時，可以在下面的菜單中，找到“ Python實戰 ”按鈕，能夠查看以往文章，篇篇都非常精彩的哦~

扯扯皮，我覺得學習編程最大的動力就是愛好，其實幹什麽事情都是。愛好能夠提供無線的動力，讓人元氣滿滿的往前沖刺。代碼就是要方便作者，方便大家。寫出來的代碼要有用處，而且不要吃灰。這樣的代碼才是好代碼。歡迎大家關註我的公眾號，“皮克啪的鏟屎官”，之後我會退出Python數據分析的內容，可能會結合量化交易之類的東西。

最後，來貼一張達蓋爾的圖片，紀念一下這位為人類做出傑出貢獻的人。

歡迎大家關註我的博客：https://home.cnblogs.com/u/sm123456/

手把手超詳細教程教你Scrapy爬達蓋爾社區，有彩蛋哦！