ICCV 2017：訓練GAN的16個技巧，2400+星（PPT）
作者：Soumith Chintala等
編譯：馬文
【新智元導讀】本文來自ICCV 2017的Talk：如何訓練GAN，FAIR的研究員Soumith Chintala總結了訓練GAN的16個技巧，例如輸入的規範化，修改損失函式，生成器用Adam優化，使用Sofy和Noisy標籤，等等。這是NIPS 2016的Soumith Chintala作的邀請演講的修改版本，而2016年的這些tricks在github已經有2.4k星。
ICCV 2017 slides：https://github.com/soumith/talks/blob/master/2017-ICCV_Venice/How_To_Train_a_GAN.pdf
NIPS2016：https://github.com/soumith/ganhacks
訓練GAN的16個trick
# 1：規範化輸入
-
將輸入影象規範化為-1到1之間
-
生成器最後一層的輸出使用tanh函式（或其他bounds normalization）
#2：修改損失函式（經典GAN）
-
在GAN論文里人們通常用 min (log 1-D) 這個損失函式來優化G，但在實際訓練的時候可以用max log D
-因為第一個公式早期有梯度消失的問題
- Goodfellow et. al (2014)
-
在實踐中：訓練G時使用反轉標籤能工作得很好，即：real = fake, fake = real
一些GAN變體
【TensorFlow】https://github.com/hwalsuklee/tensorflow-generative-model-collections
【Pytorch】https://github.com/znxlwm/pytorch-generative-model-collections
#3：使用一個具有球形結構的噪聲z
-
在做插值（interpolation）時，在大圓（great circle）上進行
-
Tom White的論文“Sampling Generative Networks”
- https://arxiv.org/abs/1609.04468
#4: BatchNorm
-
一個mini-batch裡面必須保證只有Real樣本或者Fake樣本，不要把它們混起來訓練
-
如果不能用batchnorm，可以用instance norm
#5：避免稀疏梯度：ReLU, MaxPool
-
GAN的穩定性會因為引入了稀疏梯度受到影響
-
LeakyReLU很好（對於G和D）
-
對於下采樣，使用：Average Pooling，Conv2d + stride
-
對於上取樣，使用：PixelShuffle, ConvTranspose2d + stride
-PixelShuffle 論文：https://arxiv.org/abs/1609.05158
#6：使用Soft和Noisy標籤
-
Label平滑，也就是說，如果有兩個目標label：Real=1 和 Fake=0，那麼對於每個新樣本，如果是real，那麼把label替換為0.7~1.2之間的隨機值；如果樣本是fake，那麼把label替換為0.0~0.3之間的隨機值。
-
訓練D時，有時候可以使這些label是噪聲：偶爾翻轉label
- Salimans et. al. 2016
#7：架構：DCGANs / Hybrids
-
能用DCGAN就用DCGAN，
-
如果用不了DCGAN而且沒有穩定的模型，可以使用混合模型：KL + GAN 或 VAE + GAN
-
WGAN-gp的ResNet也很好（但非常慢）
- https://github.com/igul222/improved_wgan_training
-
width比depth更重要
#8：借用RL的訓練技巧
-
Experience replay
-
對於deep deterministic policy gradients（DDPG）有效的技巧
-
參考Pfau & Vinyals (2016)的論文
#9：優化器：ADAM
-
優化器用Adam（Radford et. al. 2015）
-
或者對D用SGD，G用Adam
#10：使用 Gradient Penalty
-
使梯度的norm規範化
-
對於為什麼這一點有效，有多個理論（WGAN-GP, DRAGAN, 通過規範化使GAN穩定）
#11：不要通過loss statistics去balance G與D的訓練過程（經典GAN）
#12：如果你有類別標籤，請使用它們
-
如果還有可用的類別標籤，在訓練D判別真偽的同時對樣本進行分類
#13：給輸入增加噪聲，隨時間衰減
-
給D的輸入增加一些人工噪聲(Arjovsky et. al., Huszar, 2016)
-
給G的每一層增加一些高斯噪聲(Zhao et. al. EBGAN)
#14：多訓練判別器D
-
特別是在加噪聲的時候
#15：避開離散空間
-
將生成結果作為一個連續預測
#16：離散變數
-
使用一個嵌入層
-
給影象增加額外通道
-
保持嵌入的維度低和上取樣以匹配影象通道的大小
總結：
-
GAN模型的穩定性在提升
-
理論研究有所進展
-
技巧只是權宜之計
時間線——GAN模型的穩定性
PPT下載：https://github.com/soumith/talks/blob/master/2017-ICCV_Venice/How_To_Train_a_GAN.pdf
參考：https://github.com/soumith/ganhacks