1. 程式人生 > >爬蟲之chrome瀏覽器的使用方法

爬蟲之chrome瀏覽器的使用方法

chrome瀏覽器使用方法介紹

1. 新建隱身視窗

1.1 為什麼需要新建隱身視窗

在開啟隱身視窗的時候,第一次請求某個網站是沒有攜帶cookie的,和程式碼請求一個網站一樣,不攜帶cookie。這樣就能夠儘可能的理解程式碼請求某個網站的結果;除非資料是通過js加載出來的,不然爬蟲請求到的資料和瀏覽器請求的資料大部分時候都是相同的

2. chrome中network的更多功能

2.1 Perserve log

預設情況下,頁面發生跳轉之後,之前的請求url地址等資訊都會消失,勾選perserve log後之前的請求都會被保留 

2.2 filter過濾

在url地址很多的時候,可以在filter中輸入部分url地址,對所有的url地址起到一定的過濾效果,具體位置在上面第二幅圖中的2的位置

2.3 觀察特定種類的請求

在上面第二幅圖中的3的位置,有很多選項,預設是選擇的all,即會觀察到所有種類的請求

很多時候處於自己的目的可以選擇all右邊的其他選項,比如常見的選項:

  • XHR:大部分情況表示ajax請求
  • JS:js請求
  • CSS:css請求

但是很多時候我們並不能保證我們需要的請求是什麼型別,特別是我們不清楚一個請求是否為ajax請求的時候,直接選擇all,從前往後觀察即可,其中js,css,圖片等不去觀察即可

不要被瀏覽器中的一堆請求嚇到了,這些請求中除了js,css,圖片的請求外,其他的請求並沒有多少個

2.4 其他方法

1.search all file

2.確定js的位置

3.js中新增斷點