機器視覺現在已經能在某些任務上超過人類，例如物品和面部識別，這在幾年前還是不可想象的。
最近，機器也開始嘗試理解藝術風格，並玩了一把山寨。我們還不知道這項技術能做到多少。例如，能不能給機器一張圖片，然後將圖片風格復制到另一個視頻中？並且，維持良好順暢的視覺體驗？
今天，德國弗萊堡大學的Manuel Ruder及夥伴們成功了。他們復制了梵高的《星空》和蒙克的《尖叫》等著名作品中的風格，粘貼至各種電影和電視劇的視頻片段中，例如超萌的動畫電影《冰川世紀》，以及由作家阿加莎·克裏斯蒂小說改編而成的英國懸疑犯罪電視劇《馬普爾小姐》。項目帶來了超級驚艷的視頻，讓我們看到，幾乎任何你能想到的視覺風格都可以復制粘貼。
圖片來源 MIT Tech Review
深度神經網絡由許多層組成，每一層從圖像中抽取信息，然後將剩余信息傳遞給下一層。第一層抽取顏色等較明顯的模式，越深的層所抽取的信息越細節化，以此實現視覺識別。比較深的層所抽取的信息非常重要，這實際上就是圖像減去例如顏色、材質等等所有環境信息。從某種意義上來說，這就是電腦在畫簡筆畫。
去年，德國圖賓根大學的Leon Gatys及夥伴們開始用這種方式研究藝術風格。他們發現，要抓住藝術風格的本質不一定得了解每一層所抓取的信息，而是研究各層之間的關聯性。藝術家畫人臉的方式，與他或她畫一棵樹、一棟房子或者星星月亮的方式應該是有關聯的。抓住了關聯性，也就是抓住了風格的本質。
不過，他們的關鍵發現是，圖像的內容可以完全與其藝術風格分離。他們還發現，藝術風格可以被復制粘貼，放到隨便什麽其他圖像上去。
所以提升逼格的利器來了！你可以拍一張你家喵星人的睡姿，然後把它變成高大上的現代抽象主義康定斯基畫風。或者來一張蒙克尖叫式的自拍也行。除了搞笑，這項技術還可以玩些啥呢？
還可以將畫風粘貼到連續的圖像上，做一個視頻。但這引起了別的問題。連續幀之間的小差異，有可以導致藝術風格全盤崩壞，甚至讓整個視頻看起來磕磕碰碰、毫不連貫。其中一個問題就是物體在移動或被遮蔽時，如何處理物體的邊緣。
現在，Ruder和同事們解決了這個問題。“基於一個藝術圖像，我們可以成功將其風格轉化到整個視頻中去。”他們說。他們的方法是使用一個算法來分析連續處理幀之間的差異，避免大的變化，同時忽略畫面中被遮蔽的部分。他們說：“這讓我們可以重建取消遮蔽的區域和變形的移動邊界，同時保留圖像中其余部分的樣子。”
結果超級神奇。團隊使用算法來從各種不同的藝術作品中抽取出藝術風格，包括康定斯基、畢加索、馬蒂斯、特納以及人氣最高的蒙克和梵高。他們用1024 x 436像素的NVIDIA TITAN X GPU處理系列中的每一個圖像，以及一個CPU在同時平行運行。剛開始，處理每一幀需要8分鐘。但是經過優化之後，處理每一幀只需要3分鐘。團隊的方法在計算方面變得越來越強大。
當然，還是有一些可以改進的地方。如果幀與幀之間的變化非常快速或非常大，算法的表現還是差強人意。而且，計算時間應該還可以進一步優化降低。不過這些問題不影響我們欣賞視頻裏的驚艷效果。
人們不禁思考，這項技術還有哪些應用空間。我們可以想到的是，也許之後會有一些基於雲端的APP，讓你可以用你的手機拍視頻，然後加入藝術風格。但是，有沒有可能將蒙克的《尖叫》風格轉化到3D空間，通過虛擬現實（VR）實現出來呢？
另一方面，這項技術也為攝影和藝術領域打開了新的可能性。如果藝術風格變成了一種商品，人們可以購買下來，然後復制粘貼到不同的圖像上，那麽藝術家本身的價值是否會改變？甚至，我們還可以買下幾個不同的風格，混搭起來再進行編輯，也許又會有新的玩法。
到那時，我們可以掏出手機或者VR設備，來一張古典主義+野獸派+超現實主義+立體主義+未來主義+波普藝術（什麽鬼）的混搭風格自拍。
Tags: 人工智能 克裏斯蒂 電視劇 面部識別 藝術家
文章來源：