原文連結：Conditional Image Synthesis with Auxiliary Classifier GANs

文章貢獻：

1.在D的輸出部分新增一個輔助的分類器來提高條件GAN的效能

2.提出 Inception Accuracy 這種新的用於評判影象合成模型的標準

3.引進MS-SSIM用於判斷模型生成圖片的多樣性

本文工作與前人不同之處（圖片來自網際網路，當前版本論文無此圖片）：

Conditional GAN：CGAN

G：將類標籤作為條件資訊和噪聲一起放入G後生成樣本

D：將類標籤和生成樣本或者訓練樣本放入D，D的輸出是輸出樣本為真假的概率或者0，1二值

Semi-supervised GAN：

G：不輸入類別，只輸入噪聲來生成樣本

D：輸入生成樣本或者訓練樣本，最後的輸入是輸入影象所屬類別或者輸入影象為假，一共N+1維（N是總類別數）

Info-GAN：

模型將z拆分成兩個部分，一部分是沒辦法解釋的連續噪聲訊號，另一部分就是c。這裡c表示一種潛在的屬性，在人臉任務中可以解釋成面部表情、眼睛顏色、是否帶眼鏡、頭髮型別等，在minst手寫資料集上可以解釋成數字類別（1-9）也可以表示手寫筆畫的傾斜度、筆畫的粗細等。另外，作者將資訊理論的概念引入了GAN：

G：輸入定義的潛在變數c和噪聲

目標函式要使c和生成樣本儘可能相關，即互資訊最大

AC-GANs（本文提出）：

我們提出一個GAN架構的變體，將其稱之為輔助分類器GAN（或ACGAN，如圖2）。在AC-GAN 中，每個生成樣本 除了噪聲z外有一個對應的類別標籤 c~Pc,。G 使用兩者來生成偽影象 X (fake)=G(c，z)。判別器給出給出影象源（真假）的概率分佈和類標籤上的概率分佈。損失函式如下：

G：與cGAN相同，同樣是輸入類標籤和噪聲

D：不再輸入類標籤，另外在輸入樣本是否為真的同時，利用另一個分類器來判斷輸入樣本的所屬類別

D訓練的目標是最大，G訓練的目標是最大

Inception Accuracy：

對於合成模型是比較難去評價的，所以之前有一部分是要人工測試，即人去判斷生成模型的真假。但是人工的測試結果變化比較大，所有後來OpenAI提出Inception Score，用於自動模擬人工的判斷。但是作者發現當模型已經崩潰，生成的影象完全不符合人的視覺感知的時候，Inception Score依舊有可能較高，所以提出了這種新的評價標準。依舊是將合成的影象輸入訓練好的Incpetion v3模型，但對比的是模型分類的準確率。這種方法相比Inception Score更好計算，而且能夠更好地反映每個類別的資訊。

實驗

最上面的實驗表示模型合成不同解析度影象的 Inception Accuracy，通過在人工降低生成影象的分析率Inception Accuracy也會隨之降低後，證明了模型所生成的高解析度影象不只是簡單增加了畫素，而是確實含有低解析度影象或者簡單resize低解析度影象得到的高解析度影象中不存在的資訊。

MS-SSIM是一個用於判斷影象在人的感知上相似度的評價標準，介於0-1之間，值越大表示影象之間相似度越大。作者引入這個標準來進一步評價模型生成影象的多樣性。在ImageNet的所有類中，最高的MS-SSIM是0.25，作者對AC-GAN生成的影象做測試後，84.7%類的MS-SSIM比0.25低，進一步說明了本文提出的模型能夠生成多樣性較大的影象。

此外，作者進一步分析了當前生成模型的不足，部分類生成影象比較相似，可能是因為模型沒有記憶，造成過擬合現象。

模型結構：

想說的：

本文在D的輸出部分新增一個輔助的分類器來提高條件GAN的效能，同時輸出真假和類別。針對任務，提出這種新的Inception Accuracy的評價方法，並引入了MS-SSIM來判斷模型的效果。提出的Inception Accuracy評估方法，實驗中時優於Inception Score的，但是並未在其他模型中進行對比實驗。

參考資料：《Conditional Image Synthesis with Auxiliary Classifier GANs》閱讀筆記

原文連結：Conditional Image Synthesis with Auxiliary Classifier GANs