Shrivastava, Ashish, et al. “Learning from simulated and unsupervised images through adversarial training.” IEEE Conference on Computer Vision and Pattern Recognition.2017

概述

本文是Apple在機器學習領域的首秀，同時也是CVPR 2017的兩篇Best Paper之一。

在使用深度學習結局實際問題時，我們常常遇到以下的局面：

本文舉了兩個例子：視線方向識別和手勢識別。

• 兩種問題的標定都十分困難，使得監督資料昂貴而稀少。
• 可以用CG模型合成數據。這些資料的視線方向和手關節位置已知，但畫面不夠真實。

本文利用GAN思想，通過無監督資料提升合成數據的質量，同時不改變合成數據的標記。之後使用優化過的合成數據訓練模型。

方法

系統框架

類似GAN網路，本文系統中包含兩個核心模組

• 改善器R：輸入合成數據，輸出改善結果。
• 鑑別器D：判斷輸入是真實資料還是經過改善的合成數據。

注意，訓練的最終目的是生成改善後的合成資料。而不是改善器或者鑑別器本身。

優化

相關的代價有三種

• 代價1：鑑別器識別改善影象的錯誤率。
• 代價2：鑑別器識別真實影象的錯誤率。
• 代價3：改善影象和原始影象的逐畫素差。

其中，代價3保證改善影象和原始影象的類標相同。例如，保證手勢姿態不變，保證視線方向不變。除了直接比較畫素，還可以提取影象特徵之後在做差。

在每一輪迭代中：

• 最大化代價1，最小化代價3，優化改善器R的引數。共執行Kr次SGD。
• 最小化代價1，最小化代價2，優化鑑別器D的引數。共執行Kd次SGD。

經過若干次迭代得到的改善器R，可以將合成樣本加工成具有以下兩個性質的樣本：

• 品質和真實影象難以分辨
• 保持合成樣本原有類標不變

改進：區域性損失

問題

隨著迭代進展，鑑別器D可能過分利用某些錯誤的全域性特徵進行分類，進而使得改善影象出現不自然的artifact。

舉例：真實影象中可能只包含幾個固定視線方向的樣本，但合成影象的視線方向則均勻而連續。於是鑑別器“劍走偏鋒”地以視線方向作為真假樣本的判別標準。1

解決

本文在訓練鑑別器D時，將影象分割成w×h的小塊分別輸入；在利用D進行分類時，以各個小塊的分類結果只和作為該影象的結果。
除了避免全域性資訊引入artifact之外，這種方法還能夠增加訓練樣本的數量。

改進：歷史資訊

問題

隨著每一次迭代，改善器R輸出的影象是逐步變化的。相應地，鑑別器能夠有效辨識的影象也集中在最近的改善器輸出中。這導致兩個問題：

• 對抗訓練不收斂2
• 改善器R會重新引入之前出現過、但已經被鑑別器D忘記的artifact

解決

本文設定一個buffer來儲存迭代中生成的改善影象。

• 在每個大小為b的mini-batch中，有一半資料來源於這個buffer，另一半來源於當前改善器R的輸出。
• 完成迭代後，用當前改善器的輸出替換b/2個buffer中的樣本。

實驗

視線方向估計

資料

真實資料：214K的MPIIGaze資料庫
合成數據：1.2M使用UnityEyes生成影象，使用單一渲染環境

由於合成影象和真是影象在顏色上差別較大，在計算代價3時使用RGB三通道平均值之差代替逐畫素差。

由於視線方向估計是在灰度圖上進行，使用灰度代價即可。

結果

改善影象（中）能夠保持原始影象（左）的視線方向，同時其品質接近真實影象（右），即使真人也難以分辨。

使用改善影象訓練的分類器，效果大大超出使用原始合成影象訓練的分類器。

與state of the art相比，錯誤率也有明顯降低。

手勢識別

資料

真實資料：NYU hand pose。70K訓練，8K測試。未標定。裁剪縮放為224×224深度影象。
合成數據：數量未提及。包含14個關節標定結果。

結果

改善資料能夠逼真模擬真實資料中的噪聲。

使用改善資料訓練的分類器指標具有明顯優勢。

1. 原文未詳述，此處為個人理解。 ↩
2. 原因未詳述 ↩