NVIDIA | 一種重建照片的 AI 圖像技術
簡評：或許可以稱之為「擦擦樂」~ 建議大家看看視頻示例 ~
前幾天，NVIDIA 的研究人員介紹了一種新的 深度學習 方法，使用該方法可以重建缺失像素的圖像內容。
這種方法被稱為「image inpainting」，可以在圖像編輯軟件中去除不需要的內容，同時用計算機生成的內容進行填充。
雖然有點類似於 PS 中「內容識別」的效果，但是這種新的方法能夠處理更大範圍的圖像缺失，而不僅僅限制在圖像中心附近的矩形區域。
簡單說就是用神經網絡自己想象空白部分的細節。
【Research at NVIDIA- AI Reconstructs Photos with Realistic Results】
研究團隊訓練這個神經網絡，首先生產了 55116 個隨機條紋和任意形狀大小的孔徑，並且創建了 25000 個測試。為了提高重建的準確性，團隊根據輸入圖像的大小進一步分為了 6 類：
為訓練生成的蒙版示例
數據集采用 ImageNet，Places2 和 CelebA-HQ。
在訓練階段，將缺失部分引入上述數據集的完整訓練圖像中，以使網絡能夠學習重建像素；
在測試階段，將沒在訓練期間應用的缺失部分引入數據集中的測試圖像裏，用以無偏驗證。
過往的方法很容易出現顏色差異或者偽像的弊端，但這種新方法由於不依賴必須提供給神經網絡確定的輸入值，因而輸出值與每個接受域缺失像素的值無關，所以這個模型效果要勝過以前的方法。
Reference：
· New AI Imaging Technique Reconstructs Photos with Realistic Results
· [1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions
More：
· 用 VR 的方式瀏覽源代碼
? zhuanlan.zhihu.com
NVIDIA | 一種重建照片的 AI 圖像技術