「docker實戰篇」python的docker-打造多工端app應用資料抓取系統-系統介紹（27）

摘要： 總結下之前app應用資料抓取學習的文章。 ####（一）回顧的之前一起學習的內容 模擬器，抓包工具，客戶端自動化工具appium。 模擬器對比了三款模擬器，最終選擇了應用型高功能性強的夜神模擬器，也不是其他兩款模擬器。這個是根據個人的喜好，其實在真實的環境中...

總結下之前app應用資料抓取學習的文章。

####（一）回顧的之前一起學習的內容

模擬器，抓包工具，客戶端自動化工具appium。

• 模擬器
  

  對比了三款模擬器，最終選擇了應用型高功能性強的夜神模擬器，也不是其他兩款模擬器。這個是根據個人的喜好，其實在真實的環境中最好使用真實的移動裝置。手機進行抓取。

• 抓包工具
  

  對比了三款抓包工具，fiddler，packet capture，mitmproxy，資料包進行分析的時候經常使用fiddler進行抓包，fiddler的圖形介面利於咱們的檢視和分析，mitmproxy中的mitmdump元件資料進行解析和python進行互動。也介紹了移動抓包工具packet capture。

• appium
  

  最終用了selenium，模擬點選，滑動，輸入等操作。

• 例項
  

  豆果美食app，考研幫app，抖音app的例項操作

  1.豆果美食app，通過抓包工具進行抓取，進而進行python爬蟲進行抓取資料

  2.考研幫app，appium的使用，滑動操作

  3.抖音app，分為三塊，個人資料，粉絲資料，視訊資料。

  個人反爬字元破解。

  粉絲資料滑動+mitmdump

  視訊資料通過破解signature欄位來進行抓取，編寫破解js的檔案

####（二）打造多工端app應用資料抓取系統-架構圖

同時抓取三款app的，最終將資料放入mongodb中，之前也是抖音多客戶端的抓取的變形。其實不難，跟我一起做就可以了。docker我已經很熟悉了，但是有的老鐵沒看我之前的文章。

PS：接下來docker系統管理的講解吧。本節主要回顧下之前的方式。

>>原創文章，歡迎轉載。轉載請註明：轉載自，謝謝！>>原文連結地址：上一篇:

已是最新文章