1. 程式人生 > >想學Python爬蟲不知從何入手?工欲善其事必先利其器!

想學Python爬蟲不知從何入手?工欲善其事必先利其器!

如果小夥伴正在學習python,那麼“爬蟲”絕對是你不可忽視的。為什麼,因為容易,你在學python其他的時候,也隨便把爬蟲學了。最主要的是學python爬蟲,能在爬取的時候很開心。在這個社會有資源才是王道。

爬蟲四大工具:

NO.1 F12 開發者工具

看原始碼:快速定位元素

分析xpath:1、此處建議谷歌系瀏覽器,可以在原始碼介面直接右鍵看

需要的小夥伴加Q君羊 八八三四四四一零六,在群檔案裡
NO.2 抓包工具

推薦httpfox,火狐瀏覽器下的外掛,比谷歌火狐系自帶的F12工具都要好,可以方便檢視網站收包發包的資訊

NO.3 XPATH CHECKER (火狐外掛)

非常不錯的xpath測試工具,不過也有幾個小缺點,:

xpath checker生成的是絕對路徑,遇到一些動態生成的圖示(常見的有列表翻頁按鈕等),飄忽不定的絕對路徑很有可能造成錯誤,所以這裡建議在真正分析的時候,只是作為參考

記得把如下圖xpath框裡的“x:”去掉,貌似這個是早期版本xpath的語法,目前已經和一些模組不相容(比如scrapy),還是刪去避免報錯。

NO.4 正則表達測試工具

線上正則表示式測試 ,拿來多練練手,也輔助分析!裡面有很多現成的正則表示式可以用,也可以進行參考!