1.前言

傳統GAN出現的問題: 傳統GAN, 將Discriminator當作分類器，最後一層使用Sigmoid函式，使用交叉熵函式作為代價函式，容易出現梯度消失和collapse mode等問題，具體原因參考本部落格Wasserstein GAN。
LSGAN主要解決關鍵： 使用最小二乘損失代替交叉熵損失，解決了傳統GAN生成的圖片質量不高以及訓練過程不穩定這倆個缺陷。

為什麼使用最小二乘法能夠改善傳統GAN存在的問題？

1.避免梯度消失
文章指出，傳統的GAN在使用生成的“fake”圖片(已被Discriminator分類為正樣本) 來更新Generator的引數的時候，會造成梯度消失，儘管該生成的"fake"圖片資料離真實樣本的資料還有一定的距離。當使用最小二乘來作為Discriminator的代價函式的時候，最小二乘會將生成的“fake”圖片拉向決策邊界，這裡的決策邊界穿過真實樣本，可以使得LSGANs生成的圖片更接近真實的資料。如文章中下圖所示：

倆種不同損失函式的區別：(a)上圖藍色線代表交叉熵代價函式的Sigmoid決策邊界，紅色線代表最小二乘的決策邊界。值得注意的是，對於成功的GANs學習過程，決策邊界應該穿過真實樣本分佈，除非學習過程已經飽和了。(b)對於Sigmoid 交叉熵損失函式，當生成的“fake”圖片被歸類在決策邊界正確的一邊的時候(correct side)，得到的誤差非差小以至於不能更新Generator，儘管這些資料離決策邊界很遠，也即離真實樣本很遠。©最小二乘損失函式會懲罰離決策邊界很遠的資料，使之朝著決策邊界邁進，避免了梯度消失。

2.使訓練過程更加穩定

由於GANs學習過程不穩定導致GANs訓練困難。特別的，對於傳統的由於其存在梯度消失的問題，所以很難更新Generator,造成訓練困難。而LSGANs基於離邊界的距離而對生成的樣本進行懲罰，一定程度上避免了梯度消失，減緩了訓練困難的問題。

上圖中，(a) 為Sigmoid交叉熵損失函式; (b)為最小二乘損失函式

文章的貢獻：

• 提出最小二乘損失函式，在最小化LSGAN目標函式的時候也在最小化皮爾森$\chi ^ { 2 }$散度(Pearson $\chi ^ { 2 }$ 散度)。
• 設計了倆種LSGANs, 其中一個用於圖片生成(112x112分別率)，可生成高質量的圖片。另一網路用於多類別任務，文章使用了中國字作為測試。

２. 傳統的GAN

GAN的學習過程即同時訓練Discriminator (D)和Generator (G)的過程，Ｇ從高斯分佈的變數$z$, 學習潛在變數$\theta _ { g }$

g​，來產生分佈$p_{g}$，使得該分佈與真實分佈越接近越好。因此，Ｇ學習的是一個對映過程，通過$G \left( \boldsymbol { z } ; \theta _ { g } \right)$變數對映空間來產生分佈。另一方方面，Ｄ是一個分類器，來判斷Ｇ產生的分佈是否與真實樣本接近，通過變數空間$D \left( \boldsymbol { x } ; \theta _ { d } \right)$判斷是否一樣，同樣的也是一個對映。傳統GAN的代價函式如下：

$\min _ { G } \max _ { D } V _ { \mathrm { GAN } } ( D , G ) = \mathbb { E } _ { \boldsymbol { x } \sim p _ { data } ( \boldsymbol { x } ) } [ \log D ( \boldsymbol { x } ) ] + \mathbb { E } _ { \boldsymbol { z } \sim p _ { \boldsymbol { z } } ( \boldsymbol { z } ) } [ \log ( 1 - D ( G ( \boldsymbol { z } ) ) ) ]$　(公式1)

這裡稍微解釋下：

• 整個式子由兩項構成。$x$表示真實圖片，$z$表示輸入$G$網路的噪聲或者高斯分佈資料，而$G(z)$表示$G$網路生成的圖片。
• $D(x)$表示$D$網路判斷真實圖片是否真實的概率（因為$x$就是真實的，所以對於$D$來說，這個值越接近1越好）。而$D(G(z))$是$D$網路判斷$G$生成的圖片的是否真實的概率。
• $G$的目的：$D(G(z))$是$D$網路判斷$G$生成的圖片是否真實的概率，$G$應該希望自己生成的圖片“越接近真實越好”。也就是說，$G$希望$D(G(z))$儘可能得大，這時$V(D, G)$會變小。因此我們看到式子的最前面的記號是$min_G$。
• $D$的目的：$D$的能力越強，$D(x)$應該越大，$D(G(x))$應該越小。這時$V(D,G)$會變大。因此式子對於$D$來說是求最大(max_D)

３. Least Squares Generative Adversarial Networks

LSGANs在Discriminator上使用a-b編碼策略，簡單來說就是用a來代表“fake”資料，用b來代表“real”資料。LSGANs的目標函式為：

$\min _ { D } V _ { \mathrm { LSGAN } } ( D ) = \frac { 1 } { 2 } \mathbb { E } _ { \boldsymbol { x } \sim p _ { \mathrm { data } } ( \boldsymbol { x } ) } \left[ ( D ( \boldsymbol { x } ) - b ) ^ { 2 } \right] + \frac { 1 } { 2 } \mathbb { E } _ { \boldsymbol { z } \sim p _ { \boldsymbol { z } } ( \boldsymbol { z } ) } \left[ ( D ( G ( \boldsymbol { z } ) ) - a ) ^ { 2 } \right]$

$\min _ { G } V _ { \mathrm { LSGAN } } ( G ) = \frac { 1 } { 2 } \mathbb { E } _ { \boldsymbol { z } \sim p _ { \boldsymbol { z } } ( \boldsymbol { z } ) } \left[ ( D ( G ( \boldsymbol { z } ) ) - c ) ^ { 2 } \right]$　　(公式2)

其中c代表生成器為了讓判斷器認為生成的資料是真實分佈資料而定的值。在文章中作者設定$a=c=1, c=0$。

同時在文章中，作者列出了傳統的GAN其實在優化的是JS散度，具體參考Wasserstein GAN，

$C ( G ) = K L \left( p _ {data} \| \frac { p _ {data} + p _ { g } } { 2 } \right) + K L \left( p _ { g } \| \frac { p _ {data} + p _ { g } } { 2 } \right) - \log ( 4 )$　(公式3)

化為JS散度為 $2 J S \left( P _ {data } \| P _ { g } \right) - 2 \log 2$

因此當倆個分佈沒有重疊或者重疊部分可忽略的時候，$J S \left( P _ {data } \| P _ { g } \right)=0$, 因此此時的梯度就變為0了。

因此，對於作者提出的LSGANs, 研究了LSGANs損失函式和f散度 (f-divergence)之間的聯絡：

$\min _ { D } V _ { \mathrm { LSGAN } } ( D ) = \frac { 1 } { 2 } \mathbb { E } _ { \boldsymbol { x } \sim p _ { \mathrm { data } } ( \boldsymbol { x } ) } \left[ ( D ( \boldsymbol { x } ) - b ) ^ { 2 } \right] + \frac { 1 } { 2 } \mathbb { E } _ { \boldsymbol { z } \sim p _ { \boldsymbol { z } } ( \boldsymbol { z } ) } \left[ ( D ( G ( \boldsymbol { z } ) ) - a ) ^ { 2 } \right]$

相關推薦