最近一兩年短視訊業務風生水起，各個視訊網站都有各自特色的短視訊內容。如果有這樣一個程式，可以把各大視訊網站的熱門使用者最新發布的視訊都下載下來，不僅方便自己觀看，還可以將沒有版權的視訊釋出在個人社交網站上，增加自己的人氣，豈不美哉？

parker就是這樣一個專案（專案地址：https://github.com/LiuRoy/parker），它採用celery框架定時爬取使用者視訊列表，將最新發布的視訊通過you-get非同步下載，可以很方便地實現分散式部署。因為各個網站的頁面佈局和介面更新比較頻繁，為了保證程式的高可用，特意增加了Statsd監控，方便及時發現出錯。

程式碼架構

目前parker中只實現了B站和秒拍的下載，從框架圖可以看出，針對每一類網站，需要實現兩個非同步介面：從使用者視訊主頁解析釋出視訊的播放地址、根據播放地址下載視訊。因此增加網站型別，不需要修改原來的程式碼，只需要新增新的解析和下載介面即可。針對視訊下載完成之後的後續操作，我還沒有實現，大家可以根據自己的需求自由的去實現。

在執行的時候，celery會將配置好的優質使用者列表定時傳送到對應網站的解析介面非同步執行，篩選出最新發布的視訊播放地址，交給對應的下載介面非同步下載，下載完成之後再非同步呼叫後續操作。因此需要啟動一個celery beat程序傳送定時任務，以及若干celery非同步任務去執行解析和下載操作，對於比較大的視訊，下載會相當耗時，建議根據任務列表的多少合理分配非同步任務的個數。

程式執行

經驗證，此程式可以在ubuntu和mac下正常執行， 由於本地windows下的celery無法正常啟動，所以沒有在windows環境做過驗證。

依賴庫安裝

python版本為3.5，進入專案目錄後，執行：

建立資料庫表

引數配置

config路徑下的logging.yaml、params.yaml、sites.yaml分別對應日誌配置、執行引數配置、熱門使用者配置。

日誌配置

debug模式下日誌會直接輸出在標準輸出流，release模式下會將日誌內容輸出到檔案中，因此需要配置輸出日誌檔案。

執行配置

• mode debug除錯模式，此模式下日誌指向標準輸出，並且沒有監控資料；release模式下，日誌輸出到制定檔案，並且有監控資料。
• broker_url 對應於celery的BROKER_URL，可以配置為redis或者rabbitmq
• mysql_url 資料庫地址，需要提前建好兩張表
• download_path 視訊下載路徑
• statsd_address 監控地址
• video_number_per_page 每次從使用者視訊主頁解析出多少條視訊播放地址，因為大部分使用者每次釋出的視訊個數很少，只需要設定成一個很小的值即可。在初次執行的時候，也不會下載大量久遠的視訊。
• download_timeout 視訊下載的超時時間

熱門使用者配置

parker會根據此配置生成一份celery beat scheduler列表。

• name 規則是-，parker會根據此作為scheduler任務名稱
• url 使用者的釋出視訊主頁
• task 對應的celery解析非同步任務
• minute 多少分鐘檢查一次使用者視訊列表

啟動任務

進入專案目錄，執行下面命令啟動celery worker

執行下面命令啟動celery beat定時任務

監控

打賞支援我寫出更多好文章，謝謝！

打賞作者

打賞支援我寫出更多好文章，謝謝！