CVPR-2018 那些有趣的新想法
Taylor Guo @ Shanghai - 2018.10.18
緣起
還有什麼比頂級會議更適合尋找有趣新想法的地方嗎？我們從CVPR 2018 計算機視覺和模式識別的頂級會議中發現了很多有趣的東西。
GAN和CV
-
尋找室外場景中的小臉
在沙特和中國研究人員的合作中，使用GAN來檢測和放大人群照片上非常小的面孔。即使只是檢測小臉，也是一個有趣的問題，常規的臉部探測器通常無法解決。這裡，作者提出了一個端到端的方法來提取人臉，然後用生成模型將其提升4倍（一個稱為超解析度的過程）。
以下是主要流程：
-
PairedCycleGAN for Makeup
條件生產對抗網路已經廣泛用於影象處理；剛才提到過超解析度，生成對抗網路也成功進行了風格轉換。使用GAN，可以學習與特定影象元素相對應的顯著特徵 - 然後更改它們！ 普林斯頓，伯克利和Adobe的研究人員提出了一個修飾照片的架構。這項工作的一個有趣的部分是為不同的面部成分（眼睛，嘴脣，面板）訓練單獨的生成器並單獨應用它們，用不同的網路提取面部成分：
-
GANerated Hands
位姿估計中的一個非常重要的子集（通常需要單獨的模型）是手部跟蹤。通過揮動雙手來操縱計算機尚未完全實現，仍然需要專門的硬體，如Kinect。主要問題之一是資料：哪裡可以找得到手部3D標記的真實視訊流？這項工作，提出了一種條件生成對抗網路架構，能夠將合成的3D手部模型轉換為影象用於訓練手部跟蹤網路。合成數據是當下非常重要的工作之一，可以更詳細地考慮它。如下是“從合成到真實”的生成對抗網路架構：
-
人員資料集風格轉移GAN
Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
人員重識別（ReID）是在不同條件和不同情況下拍攝的不同照片上找到同一個人的問題。這個問題自然而然引起了很多的研究，現在已經相對好理解，但是仍然存在一些問題：人物影象的不同資料集差異比較大啊（如 照明，背景等），在一個數據集上訓練好的網路在遷移到另一個數據集（比如真實的應用場景中）時效能損失。上圖就是展示了不同資料集的差異。為了解決這個問題，這項工作提出了一種GAN架構，能夠將影象從一種“資料集風格”遷移到另一種“資料集風格”，使用GAN進行復雜變換，增強了實際資料。展示結果如下：
-
生成模型的眼睛影象合成
倫斯勒理工學院的這項工作處理一個非常具體的問題：生成人眼的影象。這不僅對於在生成的影象中製作漂亮的眼睛很重要，而且還可以使用生成的眼睛向後工作並解決凝視估計問題：人們在看什麼？這將為通用人工智慧介面鋪平道路......這是未來，但目前甚至合成生成眼睛也是一個非常困難的問題。作者提出了一個用於合成人眼外形的複雜概率模型，提出了一個生成對抗網路架構，根據這個模型生成眼睛 - 取得了巨大的成功！
-
影象修復：填補空白區域
Adobe Research和伊利諾伊大學香檳分校的這項工作致力於填補影象空白區域的極具挑戰性的問題（如上圖所示）。通常，修復工作需要理解場景：上圖右上角，必須知道臉部是什麼樣的，以及頭髮和頸部可能是什麼樣的。這項工作提出了一種基於GAN的方法，可以利用周圍影象的特徵來改進生成過程。該架構分兩部分：先生成粗略結果，再用另一個網路進行細化。結果非常好：
