視訊直接變漫畫！GAN又有了新玩法｜Demo+程式碼+論文
阿新 • • 發佈：2018-12-30
GAN，又有了新“玩法”。
最近，一個能夠將視訊直接轉化成漫畫的工具，引發了很大關注。
它的效果是這樣的：
Twitter上不少學者去圍觀，體驗的效果是這樣的：
有網友評價稱，“漫威感”撲面而來。
效果直逼漫威？
目前，Demo已經放出，量子位以《復仇者聯盟3》中的一個片段為例，測試了一下實際效果，得到了這樣的一幅圖。
畫面看上去的確非常驚豔，但是……如果不看原視訊，只看這個漫畫，你知道它講的是啥嗎？
......
現在給出正確答案：
體驗Demo時，可以自己上傳視訊，也可以選擇YouTube中的視訊。當然，他們也提供了一些樣本視訊，可以直接體驗。
如上圖所示，在生成Demo時，還有一些選項，能夠影響生成的漫畫。
這些選項分別可以控制視訊中幀的選擇、每一幀的提取方法、影象評估方法，以及漫畫的風格遷移模型。
這基本上也呈現出了專案團隊的大致思路：使用基於強化學習的關鍵幀提取演算法，提取視訊中有意義且有代表性的幀，然後對關鍵幀進行評估，確認主要的畫面之後，再進行使用GAN進行風格遷移，形成漫畫風格。
在風格遷移方面，研究團隊對當前已經發表的漫畫風格遷移模型進行了研究，最後基於CartoonGAN的方法，利用MS COCO資料集訓練出了自己的ComixGAN模型，作為Demo中的預設模型。
上手資料齊全
這個專案，來自於波蘭華沙理工大學。Demo網站提供了API介面。
GitHub上也有原始碼。
當然，論文也出來了。
不過，特別吐槽的一點是，這個Demo網站不穩定到讓人吐血，動不動就崩潰，有些時候直接罷工。