這是一篇比較粗糙的部落格，大都是一些想法和整體解決方案的東西，適合於有基礎的人看。

由於抖音這類的短視訊網站被整改，抖音關閉了分享視訊的網頁介面。現在無法從網頁端爬取短視訊。

解決方法：手機模擬器 + 中間抓包工具 + 自動化控制指令碼 + 下載指令碼

相關依賴：

手機模擬器： Genymotion（這是火箭速度的模擬器，AndroidStd自帶的模擬器不能安裝相關的apk）

抓包工具 ：mitmproxy (Windows下使用mitmdump 命令)

自動化控制伺服器： Appium Desktop

1. 環境的安裝和配置

在整體的工作中，由於本次相關依賴較多，所以環境的安裝和配置，是非常重要的一環。

這裡我列一下相關參考的博文，大家可以根據指導來配置相關的環境

    抓包工具的配置：直接用Python3的pip install mitmproxy即可 相關手機配置去搜一下，設定手機WIFI代理即可（和電腦在同一個區域網內）。

至此，相關的環境和依賴都已經安裝和配置完成。

2. Genymotion伺服器上，app安裝

這個模擬器之所以優秀，就是因為他有一個Translation的壓縮包，支援ARM ArchitectureCPU編譯的apk在X86 的編譯架構環境下安裝。所以Geny可以安裝類似抖音或者微信這樣的app

建立一個api22的模擬器（我試了一個api26的，抖音起不來，不知道為什麼）

把Trans.zip拖進去模擬器。完成之後重啟模擬器

把抖音的apk拖進去，安裝完成後會自動啟動（我這裡用的抖音版本是2.0.0，如果你想用其他版本，程式碼需要更改find_element_by_id（）裡面的Id。因為不同版本中，相同控制元件的Id編號不一樣。）

3. 自動化控制指令碼的開發

這裡用python指令碼，通過appium伺服器來操作genymotion模擬器。

這裡都是很簡單的命令，不懂的可以百度一下。

從推薦頁向下挨個滑動，每到一個新視訊，就點選進入使用者主頁，之後再點選兩次返回鍵（為了避免點進廣告），回到推薦頁，繼續上面的操作。理論情況下，可以無限爬取使用者的視訊內容。

4. 下載指令碼的開發

這裡下載指令碼很簡單，就是通過mitmproxy 的flow獲得url，然後在所有的url中做過濾，拿到想要的url。

5. 總結

在控制指令碼執行的過程中，mitmdump已經抓到了相關的URL,下載指令碼要做的就是根據相關URL來正則出使用者ID，根據獲取視訊列表請求的URL來發包，並且解析獲得視訊的URL。之後將ID和對應的URL存入Redis中的HASH(注意這裡存進去是STR)，之後用一個指令碼來取出來下載。

注意這些視訊的URL都是有時效性的，所以需要邊刷URL，邊用指令碼下載。

在工作中，本來是需要把以上在windows下開發的一套流程放在伺服器上面實現一遍，因為最終要把任務放在伺服器上來做，不過由於這個模擬器需要VT依賴，在伺服器端無法完成。

所以退一步的方法就是，買一臺很厲害的工作站，在公司本地掛10多個模擬器，同時跑吧。

一臺模擬器一天如果順利的話，會爬到1000個使用者左右（每個使用者20個視訊）。產生50G資料。

原始碼和指令碼

請尊重原創！！！！！！！！

如果你要轉載，請以醒目的標識著名源地址。

你也不想自己用心做的東西被剽竊。