用各種GAN生成MNIST數字

完整程式碼：https://github.com/SongDark/GAN_collections

資料獲取

MNIST資料集的獲取可以參考這篇部落格：
https://blog.csdn.net/songbinxu/article/details/82992264
需要注意的是MNIST資料的值域範圍，有的源是原本的 $[0,255$

] [0,255] ，有的歸一化到了 $[0,1]$

。

---

生成器和判別器

實現了CNN和MLP兩種版本。CNN結構參考自這裡，MLP結構參考自這裡。

---

有關 Spectral Norm

在dense層、conv2d層和deconv2d層中都實現了Spectral Normalization，可以自由選擇或取消。Spectral Normalization是用來限制判別器D的，不應該加到生成器G中。

有關 Gradient Clipping

所謂 Gradient Clipping（GC） 就是將引數限制在某個範圍內，比如 $($

− 0.01 , 0.01 ) (-0.01,0.01) ，它也是用來限制判別器D的，不應該加到生成器G中。WGAN的原始版本必須加GC，以保證判別器D滿足Lipschiz連續條件。我的經驗是，即使是其他GAN型別，有時候加上GC也有奇效，比如在LSGAN裡，沒有加GC時是無法生成MNIST的，加上之後就好了。

---

各種GAN的目標函式

目前涉及到的有GAN、WGAN、WGAN-GP、DRAGAN、LSGAN和CGAN。
以後有空再補其他的。

GAN

$\begin{matrix} L_D=E[log(D(x))] + E[log(1-D(G(z))] \\ \\ L_G=E[log(D(G(z)))] \\ \end{matrix} \tag{1}$

WGAN

$\begin{matrix} L_D=E[D(x)]-E[D(G(z))] \\ \\ L_G=E[D(G(z))] \\ \\ W_D\leftarrow clip(W_D,-0.1,0.1) \end{matrix} \tag{2}$

WGAN-GP

$\begin{matrix} L_D=L_D^{WGAN}+\lambda E[(|\bigtriangledown D(\alpha x-(1-\alpha G(z)))| - 1)^2] \\ \\ L_G=L_G^{WGAN}\\ \end{matrix} \tag{3}$

LSGAN

$\begin{matrix} L_D=E[(D(x)-1)^2] + E[D(G(z)^2] \\ \\ L_G=E[(D(G(z))-1)^2] \\ \end{matrix} \tag{4}$

DRAGAN

$\begin{matrix} L_D=L_D^{GAN}+\lambda E[(|\bigtriangledown D(\alpha x-(1-\alpha x_p))| - 1)^2] \\ \\ L_G=L_G^{GAN}\\ \end{matrix} \tag{5}$

CGAN

$\begin{matrix} L_D=E[log(D(x,c))] + E[log(1-D(G(z),c)] \\ \\ L_G=E[log(D(G(z),c))] \\ \end{matrix} \tag{6}$

相關推薦