SIGGRAPH Asia 2018：微軟亞洲研究院入選論文解讀

編者按：2018年的SIGGRAPH Asia大會於12月4日-7日在日本東京召開，在本屆大會上，微軟亞洲研究院共有5篇論文被接收，論文內容涵蓋利用深度學習來實現從人像照片到肖像漫畫的風格遷移，根據使用者手畫草圖生成三維模型的新方法，藉助無監督學習進行影象平滑處理等一系列最新研究。

下面就讓我們一起來看看這幾篇論文都研究了哪些內容吧。

從照片到漫畫：資料驅動的深度學習AI

根據人物照片創作漫畫對於藝術家來說很容易，但是繪畫中細節的複雜性和形狀的不確定性，對於AI而言卻是十分困難的。來自微軟亞洲研究院的實習生和研究員們設計了一種基於深度學習的方法——CariGANs，它從專業藝術家繪製的數千幅漫畫中學習，可以根據人物肖像照片自動合成漫畫。 現有的風格轉移方法主要著重在外觀風格上，而這種新技術在此基礎上還可以模擬漫畫中常見的幾何誇張手法。

這項技術將生成式對抗網路（GAN）應用於人物圖片與人像漫畫之間的轉化，並保留人物肖像的身份特徵。 CariGANs計算框架包含兩個子演算法——CariGeoGAN和CariStyGAN。CariGeoGAN用於構造從面部照片到漫畫的幾何變形，CariStyGAN則在不引入幾何變形的同時，將漫畫的風格轉移到面部照片。兩個網路針對每項任務分別進行訓練，因此學習過程更加魯棒。使用者能夠通過拖動或給出示例漫畫的方式，來控制幾何和外觀風格的誇張程度。

該研究還通過感知研究來評估他們的框架是否能夠生成易於識別且不會在形狀和外觀風格上過度扭曲的肖像漫畫。例如與現有的漫畫風格遷移方法相比， CariGANs能在多大程度上保留肖像的身份特徵。研究人員通過實驗發現，現有的方法所得到的漫畫常常過於誇張或不夠清晰，因而人物難以被識別。而CariGANs能夠將肖像照片轉化為更清晰、更準確的漫畫，就如同專業藝術家創作的一般。

目前，這項工作主要是針對頭像或半身像的人物漫畫。該技術已經可以幫助使用者創作用於社交媒體的人像漫畫和構建有趣的卡通形象。在未來，研究人員將針對全身像和更復雜的場景進行漫畫生成，並進一步增強這一系統的人機互動功能。希望這項技術可以應用於市場營銷、廣告和新聞等更多領域。

http://ai.stanford.edu/~kaidicao/carigan.pdf

基於草圖的自由三維形狀建模

通過繪製草圖來建模三維形狀是計算機圖形學的經典問題。關於該問題，現有工作可以分為兩類，一類是基於幾何推理的方法，另一類是基於機器學習的方法。在過去的二十年中，研究人員開發出有效的幾何規則，基於此類規則，使用者繪製的2D草圖可以準確地轉換為3D模型。這些基於深刻幾何原理的方法雖然強大，但通常需要大量使用者標註才能實現內容的複雜性，並且由於涉及非線性優化，計算速度通常較慢。隨著機器學習方法的成熟，特別是卷積神經網路（CNN）等深度學習方法，近年來出現了基於CNN的、採用資料驅動的方法來解決草圖建模問題。這些方法通常收集包含特定型別的物體及其相應草圖的大型資料集，並訓練一個卷積網路實現從草圖到3D形狀的對映。但是針對特定類別物體訓練出來的網路無法推廣到其它類別。

針對以上兩種方法的不足之處，香港大學和微軟亞洲研究院的研究員開發了一種智慧的方法，它需要極少的使用者標註，可以自動執行所需推理，而且不必為每個特定的物體類別訓練單獨的機器學習模型。

新的方法是以上兩種方法的結合。基於幾何原理，新方法將從草圖到三維物體的問題分解為：（1）從草圖獲得密集的曲率方向場，（2）而後從草圖和曲率場重建出無特定類別的自由形狀。另一方面，新方法通過資料驅動的卷積網路進行幾何推理，包括如何解析不含標註的草圖和重建曲率方向場，以及如何進一步重建自由曲面。實驗證明，使用大規模的合成數據訓練的卷積網路可以很好地處理人們真實繪製的草圖，並非常快速地生成符合使用者期望的三維形狀。

基於草圖建模的主要技術難點在於二義性，即2D草圖和3D形狀之間存在明顯的資訊差異。幾何推理方法在很大程度上依賴於詳細的使用者標註來解決二義性，而先前的資料驅動方法通過限制到特定物體類別來減少二義性。新提出的方法則是通過資料驅動來儘可能減少使用者標註，將草圖轉換為密集曲率方向場以提供正則化，並且使用無監督學習顯式建模關於三維重建的置信度，以對抗二義性。

藉助該新方法，藝術家可以快速輕鬆地繪製三維自由形狀，然後使用其他建模軟體進一步增加物體的細節。普通使用者也可以使用它進行3D創作。

http://haopan.github.io/papers/SketchCNN.pdf

利用無監督學習框架的影象平滑

影象平滑是計算機視覺和圖形影象處理裡眾多演算法中的一個重要元件。來自山東大學、北京大學和微軟亞洲研究院的研究員提出了一個統一的無監督學習框架，該框架利用深度卷積神經網路從資料中學習，可以提供靈活且高質量的影象平滑效果。

該框架在目標函式裡引入兩個特別的能量項：(1)邊緣保持正則項，用以保護重要但脆弱的影象結構；(2)空間自適應Lp光滑項，可以將不同形式的正則化自適應地施加到影象的不同區域，以獲得更好的平滑質量。基於該統一的框架，研究人員實現了一套多樣化的影象平滑解決方案，並應用於影象抽象、鉛筆素描風格化、細節增強、紋理去除和內容相關的影象處理等方面，取得了與以往方法相當乃至更好的結果。另外由於GPU的使用，該方法使得影象平滑計算極為高效，在1280x720 解析度的影象上可達到200幀每秒的速度。

https://arxiv.org/pdf/1811.02804.pdf

自適應八叉樹卷積神經網路

微軟亞洲研究院的研究員和來自清華大學的實習生提出了一種基於自適應八叉樹的卷積神經網路——Adaptive O-CNN，以用於高效的三維形狀的編解碼任務。傳統的基於體素和基於八叉樹的三維表達將三維資訊儲存於相同解析度的體素中，而基於自適應八叉樹的表達根據八叉樹結點內三維形狀是否可以被平面片很好地逼近這一原則，將三維形狀自適應地分解到不同層的八叉樹結點中，從而具有更稀疏更緊緻的三維表達。基於這種表達，研究人員構造了高效的自適應的O-CNN編碼器和解碼器，以此來編解碼三維形狀。 具體而言， Adaptive O-CNN 編碼器以自適應八叉樹結點內的擬合平面的引數作為輸入，僅在八叉樹節點上進行三維卷積；Adaptive O-CNN解碼器預測空間如何剖分以生成自適應八叉樹，並估算出自適應八叉樹各層非空葉結點中的擬合平面以構造三維形體。作為三維形狀分析和生成的通用框架， Adaptive O-CNN 不僅大幅降低了GPU記憶體開銷和計算成本，而且其三維生成的質量還優於很多現有的基於深度學習的方法。研究人員在一系列應用中展示了Adaptive O-CNN在三維形狀分析與生成的能力和優越性，其中包括形狀分類、三維自動編碼器、基於單張影象的三維形狀生成，以及對含噪聲和缺失資訊的三維點雲的形狀補全。

https://wang-ps.github.io/AO-CNN_files/AOCNN.pdf

偏振SVBRDF和法向資訊的同時採集

物體的表觀模型獲取通常要在光線-視點空間中進行密集取樣，而且這樣的取樣需要利用非常特定和昂貴的硬體來實現。為了降低採集難度和開銷，韓國KAUST大學和微軟亞洲研究院的學者利用了光的偏振特性，實現了一個無需多個光和視點角度的採集系統。他們在單個的投影儀和相機前放置線性偏振鏡來拍攝一組偏振影象，以獲得真實物體的表觀和法向資訊。在這個系統的設計中研究人員遇到兩個技術挑戰：（1）沒有同時考慮鏡面反射和漫反射的完整的偏振BRDF模型；（2）現有的基於偏振的逆向渲染方法是基於球面光照的假設, 它們不適用於區域性光照情況。針對這些問題，研究人員首次提出了一個完整的pBRDF模型，用來描述鏡面反射和漫反射的偏振光強分佈。基於pBRDF模型，研究人員也提出一種基於 pBRDF和法向量聯合優化的新的逆向渲染方法，該方法能夠捕獲隨空間變化的材質表觀: 材質的鏡面特性（包括折射率、鏡面粗糙度和鏡面係數）、每個畫素的漫反射率和法向值等。研究人員通過計算偏振表觀和幾何特性之間的物理關係，解決了之前嚴重病態的逆向渲染問題。

http://vclab.kaist.ac.kr/siggraphasia2018p1/multiview_author.pdf