1. 程式人生 > >The Road To ...

The Road To ...

需要爬取某個公眾號的閱讀量、評論量和點贊量。不得不說微信的反爬挺讓人頭疼的。不過細心抓包還是能找到規律的。但是大規模爬公眾號我目前還沒想出來,僅僅針對某個公眾號爬取。

過程中遇到一個問題。我是用python爬取的,用的requests==2.19.5。但是請求的時候老是報錯:HTTPSConnectionPool(host=‘mp.weixin.qq.com’, port=443): Max retries exceeded with url:…

一開始我以為是headers或者cookies設定錯誤,抓了半天包無果。最後偶然發現說這種錯誤可能是requests庫造成的。升級一下requests,果然就好了!