這裡的Lofter的工作是公司要的。主要目的是爬取大量使用者的相簿，之後做計算機視覺的訓練集來用的。個人感覺這個是爬蟲很常見的一個作用領域。（不過說實話，還是感覺有點low，覺得爬蟲還是比較底層的工作。）

說回lofter。像這種爬取圖片的一般都不難。但是Lofter這個網站，難就難在了其網頁中用時間戳來做一系列的包引數，如果沒有仔細研究的話，還是不好請求到包的。

下面看一下我是怎麼完成整個工作的。

1. 爬取個人主頁所有部落格裡面的照片

如果你認真研究完這個帖子，並且寫一點程式碼來試一下里面關鍵的幾步。就會明白裡面包請求的規律。具體規律不贅述。

這裡再根據我自己需求對程式碼做一些改變。並且加入協程來加快圖片的下載速度。

這個部分對應的指令碼是 lofter_spider_NameList_Concurrency.py

2. 從首頁獲取使用者ID.

在上一步工作的基礎之上，我們已經可以爬取某個使用者主頁裡面的照片。要想獲取大量的資料，只需要獲取大量的使用者ID即可。

點選進入第一個推薦照片，可以看到，下面有很多喜歡或者點讚的人。開啟瀏覽器的除錯工具（Chrome是F12），向下滑到最底部，點選底部的“檢視更多”按鈕，

這個時候可以看到彈出來的包裡有一個XHR觸發的包。

點進去這個包看一下響應（Response），你就可以看到這些點讚的人的資訊。

關鍵怎麼獲得這個包的資料，一般來說是需要get請求加上headers的。不過先看一下這個包的請求地址

紅色方框裡的就是我們想要的ID，就是那個" loup6 "。

到這裡，我們再觀察一下上面的點贊人對應的url，發現只有一個引數是未知的----postid。下面就要考慮怎麼獲得這個postid。其實很好理解：postid是針對每一篇釋出的部落格來說的，所以進入某個使用者的歸檔頁面（如果你認真研究了第一個部分中的內容就知道我在說什麼），隨便點選一篇部落格，然後檢視網頁原始碼，搜尋一下postid關鍵字，你就會看到其實postid就包含在原始碼內。

所以就很簡單了，在使用者的主頁內遍歷其所有的博文的同時，就可以獲得postid，也就可以獲得給這篇博文點讚的使用者的ID。由此輻射，這個速度是非常快的，而且基本是停不下來的。

這裡有一個問題就是說使用者ID去重的問題。這裡我用了Redis資料庫中的Set，把爬來的使用者ID寫入對應資料庫的set，在寫入的時候由於set不含重複元素的特性，資料庫會自動幫你去重，所以不用考慮爬取到重複的使用者Id的問題了。

3. 其他

理論上來說，有了上面兩個部分的工作，你已經可以爬取lofter全站所有使用者的相簿了。聽上去是不是很酷。不過這需要很多時間。而且也沒有人用自己的電腦這麼做（太弱智了），一般都是放在線上的伺服器做這個工作。同時你也需要很大的儲存來存拿到的資料。

4. 總結

在我的工作中，我在自己的電腦上用一個週末爬到了268w使用者ID，然後寫了指令碼把資料庫匯出成為json資料，然後在伺服器中又重新讀json資料到線上伺服器的資料庫中。

之後在線上伺服器中，用Redis的List作為任務佇列，通過Lpop()命令讀取資料庫中的使用者ID。

把lofter_spider_NameList_Concurrency.py指令碼通過pm2做程序守護（具體操作可以見我的其他博文）。之後就是時間和儲存的問題了。

所有指令碼和原始碼見以下

指令碼和原始碼

請尊重原創！！！！！！！！

如果你要轉載，請以醒目的標識著名源地址。

你也不想自己用心做的東西被剽竊。