Python 爬蟲工程師必學——App資料抓取實戰
第1章 課程介紹 介紹課程目標、通過課程能學習到的內容、學會這些技能能做什麼，對公司業務有哪些幫助，對個人有哪些幫助。介紹目前app資料抓取有哪些困難，面臨的挑戰，本實戰課程會利用哪些工具來解決這些問題，以及本實戰課程的特點 ...
1-1 python爬蟲工程師必備技能--App資料抓取實戰課程導學
第2章 windows下搭建開發環境 介紹專案開發需要安裝的開發軟體，講解了安卓模擬器對比以及夜神安卓模擬器安裝、介紹、簡單使用和Genymotion安卓模擬器簡單分析 介紹App應用抓包工具對比以及fiddler（windows環境安裝）、mitmproxy（windows\linux環境安裝）、packetcapture（安卓環境）抓包工具安裝、介紹、簡單使用 介紹移動端自動化控制工具，appium...
2-1 夜神模擬器安裝&介紹 2-2 夜神模擬器設定介紹&在夜神模擬器內部安裝App 2-3 介紹genymotion和模擬器的安裝(選擇觀看) 2-4 fiddler軟體介紹&下載&安裝&軟體設定 2-5 mitmproxy介紹&安裝&如何在linux作業系統中安裝 2-6 mitmproxy在Linux作業系統中的使用 2-7 packet capture開頭，抓包工具介紹，安裝，使用 2-8 介紹appium環境搭建的兩種方法 2-9 安裝docker以及docker執行ubuntu以及簡單命令維護
第3章 爬蟲必備利器、抓包工具的使用 本章著重介紹兩款抓包工具的使用fiddler和mitmproxy。 首先介紹了fiddler抓包工具的工作介面、斷點攔截、重定向、移動端裝置抓包等功能 其次介紹了mitmproxy抓包工具的三個元件mitmproxy，mitmdump，mitmweb，介紹了mitmproxy工作介面、斷點攔截、重定向、移動端裝置抓包等功能 ...
3-1 fiddler抓包工具介紹，file&&edit功能使用 3-2 tooles功能使用 3-3 rules功能使用&工具欄詳講 3-4 會話列表-請求頭、響應頭介紹 3-5 請求前斷點設定，響應後斷點，命令列請求前後斷點設定，網頁重定向 3-6 手機安裝證書，設定fiddler抓取移動端資料包 3-7 mitmproxy軟體移動裝置安裝證書、移動裝置抓包 3-8 mitmproxy資料包過濾 3-9 mitmdump詳講
第4章 app應用資料抓取入門 通過fiddler抓包工具分析 豆果美食app應用的資料請求介面以及app響應的資料，使用Python多執行緒編寫爬蟲抓取豆果美食app應用資料，並將資料儲存到mongodb中
4-1 抓取前設定,啟動豆果美食app並抓包 4-2 分析fiddler抓取到的豆果美食資料包 4-3 編寫爬蟲指令碼1-專案需求、請求函式編寫、請求頭偽造 4-4 編寫爬蟲指令碼2-食材頁面解析、佇列邏輯編寫 4-5 編寫爬蟲指令碼3-獲取菜譜列表資料邏輯編寫 4-6 編寫爬蟲指令碼4-詳情頁資料抓取邏輯編寫 4-7 編寫爬蟲指令碼5-資料入庫邏輯編寫 4-8 編寫爬蟲指令碼6-多執行緒邏輯編寫 4-9 編寫爬蟲指令碼7-偽裝爬蟲-編寫代理邏輯 4-10 本章爬蟲總結
第5章 移動端自動化控制工具詳講 本章首先介紹了android開發環境的安裝，為講解uiautomatorviewer工具做準備，android開發環境安裝成功後介紹了uiautomatorviewer工具對app應用介面進行分析，節點定位、xpath編寫 介紹了appium-desktop工具的錄製功能，對app介面進行分析及行為錄製以及介紹如何設定appium-desktop服務端 講解了通過python+appium-desktop...
5-1 安裝JDK環境 5-2 安裝sdk工具包 5-3 adb工具詳講1 5-4 adb工具詳講2 5-5 adb工具詳講3 5-6 sdk下uiautomatorviewer工具使用 5-7 appium介紹 5-8 inspector介紹 5-9 inspector錄製功能
第6章 app應用資料抓取實戰進階 本章介紹了抖音app應用資料抓取、通過使用fiddler抓包工具對抖音app應用資料介面進行分析，分析獲取資料請求介面及構造引數等，通過使用python+mitmdump對抖音app應用資料進行解析，通過編寫python爬蟲邏輯，通過appium-desktop工具控制app翻頁滑動等操作，使用mitmdump對資料包進行解析，並將資料儲存到mongodb中 ...
第7章 打造多工端app應用資料抓取系統 本章介紹多工app抓取系統架構系統的、元件、功能介紹、實現原理等，接下來講解了在docker中安裝appium環境容器，用於模擬多個appium服務端抓取多個安卓模擬器中應用資料 啟動多個容器，編寫python測試demo，控制多個容器中的多個app行為，通過抓包分析抖音、快手、今日頭條等app，分析請求介面，相應資料，以及相應的處...
第8章 第八章 課程回顧與總結 回顧常用的APP抓包工具的使用技巧，appium desktop服務端設定及APP介面定位技巧 ，appium+docker多工APP抓取系統的難點及專案中開發技巧，專案開發邏輯及專案中遇到的難點等