1. 程式人生 > >《python3網路爬蟲開發實戰》--模擬登陸

《python3網路爬蟲開發實戰》--模擬登陸

1.cookies池的搭建

Cookies池需要有自動生成 Cookies、定時檢測 Cookies、提供隨機 Cookies等幾大核心功能。

Cookies 池架構的基本模組分為 4 塊:儲存模組 、 生成模組、檢測模組和介面模組 。 每個模組的

功能如下 。

  • 儲存模組負責儲存每個賬號的使用者名稱密碼以及每個賬號對應的 Cookies 資訊,同時還需要提供一些方法來實現方便的存取操作 。
  • 生成模組負責生成新的 Cookies。 此模組會從儲存模組逐個拿取賬號的使用者名稱和密碼, 然後模擬登入目標頁面,判斷登入成功,就將 Cookies返回並交給儲存模組儲存。
  • 檢測模組需要定時檢測資料庫中的 Cookies。 在這裡我們需要設定一個檢測連結,不同的站點檢測連結不同,檢測模組會逐個拿取賬號對應的 Cookies 去請求連結,如果返回的狀態是有效的,那麼此 Cookies 沒有失效,否則 Cookies 失效並移除 。 接下來等待生成模組重新生成即可。
  • 介面模組需要用 API來提供對外服務的介面 。 由於可用的 Cookies可能有多個 , 我們可以 隨機返回 Cookies的介面,這樣保證每個 Cookies都有可能被取到 。 Cookies越多 , 每個 Cookies被取到的概率就會越小,從而減少被封號的風險 。

2.cookies池的實現