W-GAN
阿新 • • 發佈：2018-06-20
AS 很難 class sse 有效 進程 target lan IT
-
令人拍案叫絕的Wasserstein GAN
WGAN前作分析了Ian Goodfellow提出的原始GAN兩種形式各自的問題，第一種形式等價在最優判別器下等價於最小化生成分布與真實分布之間的JS散度，由於隨機生成分布很難與真實分布有不可忽略的重疊以及JS散度的突變特性，使得生成器面臨梯度消失的問題；第二種形式在最優判別器下等價於既要最小化生成分布與真實分布直接的KL散度，又要最大化其JS散度，相互矛盾，導致梯度不穩定，而且KL散度的不對稱性使得生成器寧可喪失多樣性也不願喪失準確性，導致collapse mode現象。
WGAN前作針對分布重疊問題提出了一個過渡解決方案，通過對生成樣本和真實樣本加噪聲使得兩個分布產生重疊，理論上可以解決訓練不穩定的問題，可以放心訓練判別器到接近最優，但是未能提供一個指示訓練進程的可靠指標，也未做實驗驗證。
WGAN本作引入了Wasserstein距離，由於它相對KL散度與JS散度具有優越的平滑特性，理論上可以解決梯度消失問題。接著通過數學變換將Wasserstein距離寫成可求解的形式，利用一個參數數值範圍受限的判別器神經網絡來最大化這個形式，就可以近似Wasserstein距離。在此近似最優判別器下優化生成器使得Wasserstein距離縮小，就能有效拉近生成分布與真實分布。WGAN既解決了訓練不穩定的問題，也提供了一個可靠的訓練進程指標，而且該指標確實與生成樣本的質量高度相關。作者對WGAN進行了實驗驗證。
W-GAN