爬蟲之chrome瀏覽器的使用方法
阿新 • • 發佈:2019-02-05
chrome瀏覽器使用方法介紹
1. 新建隱身視窗
1.1 為什麼需要新建隱身視窗
在開啟隱身視窗的時候,第一次請求某個網站是沒有攜帶cookie的,和程式碼請求一個網站一樣,不攜帶cookie。這樣就能夠儘可能的理解程式碼請求某個網站的結果;除非資料是通過js加載出來的,不然爬蟲請求到的資料和瀏覽器請求的資料大部分時候都是相同的
2. chrome中network的更多功能
2.1 Perserve log
預設情況下,頁面發生跳轉之後,之前的請求url地址等資訊都會消失,勾選perserve log後之前的請求都會被保留
2.2 filter過濾
在url地址很多的時候,可以在filter中輸入部分url地址,對所有的url地址起到一定的過濾效果,具體位置在上面第二幅圖中的2的位置
2.3 觀察特定種類的請求
在上面第二幅圖中的3的位置,有很多選項,預設是選擇的all
,即會觀察到所有種類的請求
很多時候處於自己的目的可以選擇all
右邊的其他選項,比如常見的選項:
- XHR:大部分情況表示ajax請求
- JS:js請求
- CSS:css請求
但是很多時候我們並不能保證我們需要的請求是什麼型別,特別是我們不清楚一個請求是否為ajax請求的時候,直接選擇all
,從前往後觀察即可,其中js,css,圖片等不去觀察即可
不要被瀏覽器中的一堆請求嚇到了,這些請求中除了js,css,圖片的請求外,其他的請求並沒有多少個
2.4 其他方法
1.search all file
2.確定js的位置
3.js中新增斷點