目錄

• 爬蟲小工具

  • 檔案下載小助手

• 爬蟲實戰

  • 筆趣看小說下載

  • VIP視訊下載

  • 百度文庫文章下載_rev1

  • 百度文庫文章下載_rev2

  • 《帥啊》網帥哥圖片下載

  • 構建代理IP池

  • 《火影忍者》漫畫下載

  • 財務報表下載小助手

  • 一小時入門網路爬蟲

  • 抖音App視訊下載_rev1

  • 抖音App視訊下載_rev2

  • 抖音App視訊下載_rev3

  • GEETEST驗證碼破解

  • 12306搶票小助手

  • 百萬英雄答題輔助系統

  • 網易雲音樂批量下載

  • B站視訊和彈幕批量下載

• 其它

爬蟲小工具

• downloader.py:檔案下載小助手

一個可以用於下載圖片、視訊、檔案的小工具，有下載進度顯示功能。稍加修改即可新增到自己的爬蟲中。

動態示意圖：

爬蟲實戰

1、biqukan.py:《筆趣看》盜版小說網站，爬取小說工具

第三方依賴庫安裝：

pip3 install beautifulsoup4

使用方法：

python biqukan.py

2、video_downloader：愛奇藝等主流視訊網站的VIP視訊破解助手(暫只支援PC和手機線上觀看VIP視訊！)

感謝Python3二維碼生成器作者：https://github.com/sylnsfar/qrcode

編譯好的軟體下載連線：https://pan.baidu.com/s/1bqSTNJL 密碼:p8bs

解壓密碼：cuijiahua.com

無需Python3環境，在Windows下，解壓即用！軟體使用方法

原始碼可檢視video_downloader，執行原始碼需要搭建Python3環境，並安裝相應第三方依賴庫：

在video_downloader資料夾下，安裝第三方依賴庫：

pip3 install -r requirements.txt

使用方法：

python movie_downloader.py

執行環境：

• Windows, Python3

• Linux, Python3

• Mac, Python3

3、baiduwenku.py: 百度文庫word文章爬取

原理說明：http://blog.csdn.net/c406495762/article/details/72331737
程式碼不完善，沒有進行打包，不具通用性，純屬娛樂，以後有時間會完善。

4、shuaia.py: 爬取《帥啊》網，帥哥圖片

《帥啊》網URL：http://www.shuaia.net/index.html

原理說明：http://blog.csdn.net/c406495762/article/details/72597755

第三方依賴庫安裝：

pip3 install requests beautifulsoup4

5、daili.py: 構建代理IP池

原理說明：http://blog.csdn.net/c406495762/article/details/72793480

6、carton: 使用Scrapy爬取《火影忍者》漫畫

程式碼可以爬取整個《火影忍者》漫畫所有章節的內容，儲存到本地。更改地址，可以爬取其他漫畫。儲存地址可以在settings.py中修改。

動漫網站：http://comic.kukudm.com/

原理說明：http://blog.csdn.net/c406495762/article/details/72858983

7、hero.py: 《王者榮耀》推薦出裝查詢小助手

網頁爬取已經會了，想過爬取手機APP裡的內容嗎？

原理說明：http://blog.csdn.net/c406495762/article/details/76850843

8、financical.py: 財務報表下載小助手

爬取的資料存入資料庫會嗎？《跟股神巴菲特學習炒股之財務報表入庫(MySQL)》也許能給你一些思路。

原理說明：http://blog.csdn.net/c406495762/article/details/77801899

動態示意圖：

9、one_hour_spider:一小時入門Python3網路爬蟲。

原理說明:

• 知乎：https://zhuanlan.zhihu.com/p/29809609

• CSDN：http://blog.csdn.net/c406495762/article/details/78123502

本次實戰內容有：

• 網路小說下載(靜態網站)-biqukan

• 優美桌布下載(動態網站)-unsplash

• 愛奇藝VIP視訊下載

10、douyin.py:抖音App視訊下載

抖音App的視訊下載，就是普通的App爬取。

原理說明:個人網站：http://cuijiahua.com/blog/2018/03/spider-5.html

11、douyin_pro:抖音App視訊下載（升級版）

抖音App的視訊下載，新增視訊解析網站，支援無水印視訊下載，使用第三方平臺解析。

原理說明:個人網站：http://cuijiahua.com/blog/2018/03/spider-5.html

12、douyin_pro_2:抖音App視訊下載（升級版2）

抖音App的視訊下載，新增視訊解析網站，支援無水印視訊下載，通過url解析，無需第三方平臺。

原理說明:個人網站：http://cuijiahua.com/blog/2018/03/spider-5.html

動態示意圖：

13、geetest.py:GEETEST驗證碼破解

爬蟲最大的敵人之一是什麼？沒錯，驗證碼！Geetest作為提供驗證碼服務的行家，市場佔有率還是蠻高的。遇到Geetest提供的滑動驗證碼怎麼破？授人予魚不如授人予漁，接下來就為大家呈現本教程的精彩內容。

原理說明:http://www.cuijiahua.com/blog/2017/11/spider_2_geetest.html

動態示意圖：

14、12306.py:用Python搶火車票簡單程式碼

可以自己慢慢豐富，蠻簡單，有爬蟲基礎很好操作，沒有原理說明。

15、baiwan:百萬英雄輔助答題

效果圖：

原理說明：http://cuijiahua.com/blog/2018/01/spider_3.html

功能介紹：

• 伺服器端，使用Python（baiwan.py）通過抓包獲得的介面獲取答題資料，解析之後通過百度知道搜尋介面匹配答案，將最終匹配的結果寫入檔案（file.txt)。

• 手機抓包不會的朋友，可以看下我的早期手機APP抓包教程。

• Node.js（app.js）每隔1s讀取一次file.txt檔案，並將讀取結果通過socket.io推送給客戶端（index.html）。

• 親測答題延時在3s左右。

• 宣告：沒做過後端和前端，花了一天時間，現學現賣弄好的，javascript也是現看現用，百度的程式，除錯除錯而已。可能有很多用法比較low的地方，用法不對，請勿見怪，有大牛感興趣，可以自行完善。

16、Netease:根據歌單下載網易雲音樂

效果圖：

功能介紹：根據music_list.txt檔案裡的歌單的資訊下載網易雲音樂，將自己喜歡的音樂進行批量下載。

17、bilibili：B站視訊和彈幕批量下載

使用說明：

   python bilibili.py -d 貓 -k 貓 -p 10

三個引數：
       -d    儲存視訊的資料夾名
       -k    B站搜尋的關鍵字
       -p    下載搜尋結果前多少頁

歡迎Star，Pull requests，專案地址，點選【閱讀原文】