1. 程式人生 > >09.移動端資料爬取

09.移動端資料爬取

 前言

  •    隨著移動市場的火熱,各大平臺都陸陸續續的推出了自己的移動端APP來拉攏吸引和便捷其廣大的使用者。那麼在移動端的平臺當時勢必會出現大量有價值的資訊和資料,那這些資料我們是否可以去享用一下呢?那麼接下來就進入我們的移動端APP資料的爬蟲中來吧。

今日概要

  • fiddler簡介
  • 手機APP抓包設定
    • fiddler設定
    • 安裝證書下載
    • 安全證書安裝
    • 區域網設定
    • fiddler手機抓包測試

今日詳情

1 什麼是Fiddler?
    Fiddler是位於客戶端和伺服器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和伺服器之間的所有 HTTP請求,可以針對特定的HTTP請求,分析請求資料、設定斷點、除錯web應用、修改請求的資料,甚至可以修改伺服器返回的資料,功能非常強大,是web除錯的利器。

    既然是代理,也就是說:客戶端的所有請求都要先經過Fiddler,然後轉發到相應的伺服器,反之,伺服器端的所有響應,也都會先經過Fiddler然後傳送到客戶端,基於這個原因,Fiddler支援所有可以設定http代理為127.0.0.1:8888的瀏覽器和應用程式。使用了Fiddler之後,web客戶端和伺服器的請求如下所示:


    利用可以設定代理的這個特點,我們就可以對手機APP進行抓包了。怎麼設定?不急不急,讓我先把Fiddler安裝上吧!

     Fiddler下載地址:

https://www.telerik.com/fiddler

    傻瓜式安裝,一鍵到底。Fiddler軟體介面如圖所示:

2 手機APP抓包設定

a. Fiddler設定

    開啟Fiddler軟體,開啟工具的設定。(Fiddler軟體選單欄:Tools->Options)

 在HTTPS中設定如下:

 在Connections中設定如下,這裡使用預設8888埠,當然也可以自己更改,但是注意不要與已經使用的埠衝突:

Allow remote computers to connect:允許別的機器把請求傳送到fiddler上來

b. 安全證書下載
    在電腦瀏覽器中輸入地址:http://localhost:8888/,點選FiddlerRoot certificate,下載安全證書:


c. 安全證書安裝
    證書是需要在手機上進行安裝的,這樣在電腦Fiddler軟體抓包的時候,手機使用電腦的網絡卡上網才不會報錯。

    Android手機安裝:把證書放入手機的內建或外接儲存卡上,然後通過手機的"系統安全-》從儲存裝置安裝"選單安裝證書。

                              然後找到拷貝的FiddlerRoot.cer進行安裝即可。安裝好之後,可以在信任的憑證中找到我們已經安裝好的安全證書。

    蘋果手機安裝:

        - 保證手機網路和fiddler所在機器網路是同一個網段下的

        - 在safari中訪問http://fiddle機器ip:fiddler埠,進行證書下載。然後進行安裝證書操作。

        - 在手機中的設定-》通用-》關於本機-》證書信任設定-》開啟fiddler證書信任

d. 區域網設定
    想要使用Fiddler進行手機抓包,首先要確保手機和電腦的網路在一個內網中,可以使用讓電腦和手機都連線同一個路由器。當然,也可以讓電腦開放WIFI熱點,手機連入。這裡,我使用的方法是,讓手機和電腦同時連入一個路由器中。最後,讓手機使用電腦的代理IP進行上網。
 在手機上,點選連線的WIFI進行網路修改,新增代理。進行手動設定,ip和埠號都是fiddler機器的ip和fiddler上設定的埠號。

e. Fiddler手機抓包測試

    上述步驟都設定完成之後,用手機瀏覽器開啟百度首頁,我們就可以順利抓包了