前言：

很抱歉QQSpider這個爬蟲過了這麼久才作更新，同時也很感謝各位同學的肯定和支援！
這次主要替換了程式裡一些不可用的連結，對登入時的驗證碼作了處理，對去重佇列作了優化。並且可以非常簡單地實現爬蟲分散式擴充套件。

使用說明：

啟動前配置：

1. 需要安裝的軟體：python、Redis、MongoDB（Redis和MongoDB都是NoSQL，服務啟動後能連線上就行，不需要建表什麼的）。
2. 需要安裝的Python模組：requests、BeautifulSoup、multiprocessing、selenium、itertools、redis、pymongo。
3. 我們登陸QQ要使用到phantomJS（下載地址：
   http://phantomjs.org/download.html），下載完將裡面的 phantomjs.exe 解壓到python目錄下即可。

啟動程式：

1. 進入 myQQ.txt 寫入QQ賬號和密碼（不同QQ換行輸入，賬號密碼空格隔開）。如果你只是測試一下，則放三兩個QQ足矣；但如果你開多執行緒大規模抓取的話就要用多一點QQ號（thread_num_QQ的2~10倍），賬號少容易被檢測為異常行為。
2. 進入 init_messages.py 進行爬蟲引數的配置，例如執行緒數量的多少、設定爬哪個時間段的日誌，哪個時間段的說說，爬多少個說說備份一次等等。
3. 執行 launch.py 啟動爬蟲。

程式碼說明：

1. mongodb用來存放資料，redis用來存放待爬QQ和Cookie。
2. 爬蟲之前使用的是BitVector去重，有一部分人反映經常會報錯，所以現在使用基於Redis的位去重，記憶體佔用不超過512M，能容納45億個QQ號瞬間去重，而且方便分散式擴充套件。
3. 爬蟲使用phantomJS模擬登陸QQ空間，有時候會出現驗證碼。我使用的是雲打碼（自行百度），準確率還是非常高的，QQ驗證碼是4位純英文，5元可以識別1000個驗證碼。如果需要請自行去註冊購買，將賬號、密碼、appkey填入 yundama.py，再將 public_methods.py 裡的dama=False改成dama=True
   即可。
4. 分散式。現在已經將種子隊列和去重佇列都放在了Redis上面，如果需要幾臺機器同時爬，只需要將程式碼複製一份到另外一臺機子，將連Redis時的localhost改成同一臺機器的IP即可。如果想要將爬下來的資料儲存到同一臺機，也只需要將連MongoDB時的localhost改成該機器的IP即可。
5. 為了讓程式不那麼複雜難懂，此專案只用了多執行緒，即只用到了一個CPU。如果實際生產執行的話可以考慮將程式稍作修改，換成多程序+協程，或者非同步。速度會快很多。
6. 最後提醒一下，爬蟲無非就是模仿人在瀏覽器上網的行為，你在瀏覽器上無法檢視的資訊爬蟲一般也是無法抓取。所以，就不要再問我能不能破解別人相簿的這種問題了，空間加了訪問許可權的也無法訪問。程式輸出的日誌中2016-11-19 01:05:33.010000 failure:484237103 (None - http://user.qzone.qq.com/484237103)這種，一般就是無法訪問的QQ。還有，我們是無法檢視一個QQ的所有好友的，所以爬下來的好友資訊也只是部分好友。爬蟲不是黑客，希望理解。

結語：

• 爬蟲是偏後臺型的任務，以抓取效率為主，並沒有很好的使用者介面，並且需要不斷地維護。所以對於完全沒有程式設計基礎的人來說，可能會遇到各種各樣的問題。此專案最初的目的是為大家提供QQ空間爬蟲的一種架構，並不保證程式一直能跑。只要騰訊伺服器端稍有變動，例如某一個連結變了，可能程式就抓不到資料了，此時程式也要相應地將連結換成新的，如果網頁結構變了，解析規則也要相應地修改。
• 有同學反映，爬QQ空間的很多都是學生想爬一些資料做統計研究的，本不是計算機專業，爬起來比較困難，希望有現成的資料出售。但是因為工作變動，其實今年3月份 程式開發完後我就沒有跑過了，所以手上也沒有資料。不過接下來我會開一兩臺機器跑這個爬蟲，如果需要資料可以郵件聯絡我（[email protected]）。
• 有什麼問題請儘量留言，方便後來遇到同樣問題的同學檢視。