1. 程式人生 > >潭州課堂25班:Ph201805201 爬蟲高階 第十二 課 Scrapy-redis分佈 專案實戰 (課堂筆記)

潭州課堂25班:Ph201805201 爬蟲高階 第十二 課 Scrapy-redis分佈 專案實戰 (課堂筆記)

建代理池,

1,獲取多個網站的免費代理IP,

2,對免費代理進行檢測,》》》》》攜帶IP進行請求,

3,檢測到的可用IP進行儲存,

4,實現api介面,方便呼叫,

5,各個元件 的除錯,

 

西剌代理:

http://www.xicidaili.com/nn/

 

66 IP代理

http://www.66ip.cn/

 

快代理

https://www.kuaidaili.com/free/