第1章 課程介紹
介紹課程目標、通過課程能學習到的內容、學會這些技能能做什麽，對公司業務有哪些幫助，對個人有哪些幫助。介紹目前app數據抓取有哪些困難，面臨的挑戰，本實戰課程會利用哪些工具來解決這些問題，以及本實戰課程的特點 ...

1-1 python爬蟲工程師必備技能--App數據抓取實戰課程導學
第2章 windows下搭建開發環境
介紹項目開發需要安裝的開發軟件，講解了安卓模擬器對比以及夜神安卓模擬器安裝、介紹、簡單使用和Genymotion安卓模擬器簡單分析 介紹App應用抓包工具對比以及fiddler（windows環境安裝）、mitmproxy（windows\linux環境安裝）、packetcapture（安卓環境）抓包工具安裝、介紹、簡單使用 介紹移動端自動化控制工具，appium...

2-1 夜神模擬器安裝&介紹
2-2 夜神模擬器設置介紹&在夜神模擬器內部安裝App
2-3 介紹genymotion和模擬器的安裝(選擇觀看)
2-4 fiddler軟件介紹&下載&安裝&軟件設置
2-5 mitmproxy介紹&安裝&如何在linux操作系統中安裝
2-6 mitmproxy在Linux操作系統中的使用
2-7 packet capture開頭，抓包工具介紹，安裝，使用
2-8 介紹appium環境搭建的兩種方法
2-9 安裝docker以及docker運行ubuntu以及簡單命令維護
第3章 爬蟲必備利器、抓包工具的使用
本章著重介紹兩款抓包工具的使用fiddler和mitmproxy。 首先介紹了fiddler抓包工具的工作界面、斷點攔截、重定向、移動端設備抓包等功能 其次介紹了mitmproxy抓包工具的三個組件mitmproxy，mitmdump，mitmweb，介紹了mitmproxy工作界面、斷點攔截、重定向、移動端設備抓包等功能 ...

3-1 fiddler抓包工具介紹，file&&edit功能使用
3-2 tooles功能使用
3-3 rules功能使用&工具欄詳講
3-4 會話列表-請求頭、響應頭介紹
3-5 請求前斷點設置，響應後斷點，命令行請求前後斷點設置，網頁重定向
3-6 手機安裝證書，設置fiddler抓取移動端數據包
3-7 mitmproxy軟件移動設備安裝證書、移動設備抓包
3-8 mitmproxy數據包過濾
3-9 mitmdump詳講
第4章 app應用數據抓取入門
通過fiddler抓包工具分析 豆果美食app應用的數據請求接口以及app響應的數據，使用Python多線程編寫爬蟲抓取豆果美食app應用數據，並將數據保存到mongodb中

4-1 抓取前設置,啟動豆果美食app並抓包
4-2 分析fiddler抓取到的豆果美食數據包
4-3 編寫爬蟲腳本1-項目需求、請求函數編寫、請求頭偽造
4-4 編寫爬蟲腳本2-食材頁面解析、隊列邏輯編寫
4-5 編寫爬蟲腳本3-獲取菜譜列表數據邏輯編寫
4-6 編寫爬蟲腳本4-詳情頁數據抓取邏輯編寫
4-7 編寫爬蟲腳本5-數據入庫邏輯編寫
4-8 編寫爬蟲腳本6-多線程邏輯編寫
4-9 編寫爬蟲腳本7-偽裝爬蟲-編寫代理邏輯
4-10 本章爬蟲總結
第5章 移動端自動化控制工具詳講
本章首先介紹了android開發環境的安裝，為講解uiautomatorviewer工具做準備，android開發環境安裝成功後介紹了uiautomatorviewer工具對app應用界面進行分析，節點定位、xpath編寫 介紹了appium-desktop工具的錄制功能，對app界面進行分析及行為錄制以及介紹如何設置appium-desktop服務端 講解了通過python+appium-desktop...

5-1 安裝JDK環境
5-2 安裝sdk工具包
5-3 adb工具詳講1
5-4 adb工具詳講2
5-5 adb工具詳講3
5-6 sdk下uiautomatorviewer工具使用
5-7 appium介紹
5-8 inspector介紹
5-9 inspector錄制功能
5-10 登錄考研幫app並實現模擬滑動操作
第6章 app應用數據抓取實戰進階
本章介紹了抖音app應用數據抓取、通過使用fiddler抓包工具對抖音app應用數據接口進行分析，分析獲取數據請求接口及構造參數等，通過使用python+mitmdump對抖音app應用數據進行解析，通過編寫python爬蟲邏輯，通過appium-desktop工具控制app翻頁滑動等操作，使用mitmdump對數據包進行解析，並將數據保存到mongodb中 ...

6-1 抖音數據抓取實戰介紹
6-2 解析抖音分享頁面數據1
6-3 解析抖音分享頁面數據2
6-4 解析抖音分享頁面數據3
6-5 抖音分享id存儲數據庫邏輯代碼編寫1
6-6 抖音分享id存儲數據庫邏輯代碼編寫2
6-7 ssl pining技術分析與xponsed框架安裝
6-8 抖音分析接口數據分析
6-9 抖音appium模擬滑動操作1
6-10 抖音appium模擬滑動操作2
6-11 多設備端並發抓取抖音粉絲數據
6-12 抖音視頻抓取&signarure加密字段破解-1
6-13 抖音視頻抓取&signarure加密字段破解-2
6-14 抖音視頻抓取&signarure加密字段破解-3
6-15 第六章總結
第7章 打造多任務端app應用數據抓取系統
本章介紹多任務app抓取系統架構系統的、組件、功能介紹、實現原理等，接下來講解了在docker中安裝appium環境容器，用於模擬多個appium服務端抓取多個安卓模擬器中應用數據 啟動多個容器，編寫python測試demo，控制多個容器中的多個app行為，通過抓包分析抖音、快手、今日頭條等app，分析請求接口，相應數據，以及相應的處...

7-1 、打造多任務端app應用數據抓取系統-系統介紹
7-2 、docker系統管理-基礎概念
7-3 、docker系統管理-基礎命令-1
7-4 、docker系統管理-基礎命令-2
第8章 第八章 課程回顧與總結
回顧常用的APP抓包工具的使用技巧，appium desktop服務端設置及APP界面定位技巧 ，appium+docker多任務APP抓取系統的難點及項目中開發技巧，項目開發邏輯及項目中遇到的難點等

下載地址:Python 爬蟲工程師必學 App數據抓取實戰

Python 爬蟲工程師必學 App數據抓取實戰