3.1 從GAN到Conditional GAN

GAN的生成式模型可以擬合真實分佈，所以它可以用於偽造資料。DCGAN是第一個用全卷積網路做資料生成的，下面是它的基本結構和生成的資料。 輸入100維的噪聲，輸出64*64的影象，從mnist的訓練結果來看，還不錯。筆者也用DCGAN生成過嘴脣表情資料，也是可用的。

但是它的問題是不能控制生成的數字是1還是9，所以後來有了CGAN,即條件GAN，網路結構如下。 它將標籤資訊encode為一個向量，串接到了D和G的輸入進行訓練，優化目標發生了改變。

與cgan類似，infogan將噪聲z進行了拆解，一是不可壓縮的噪聲z，二是可解釋的隱變數c，可以認為infogan就是無監督的cgan，這樣能夠約束c與生成資料之間的關係，控制一些屬性，比如旋轉等。

條件GAN的出現，使得控制GAN的輸出有了可能，出現了例如文字生成影象的應用。 3.2 金字塔GAN

原始的GAN生成圖的解析度太小，無法實用，借鑑經典影象中的金字塔演算法，LAPGAN/StackedGAN各自提出類似的想法，下面是LAPGAN的結構。 它有以下特點。 (1)使用殘差逼近，學習相對容易。 (2)逐級獨立訓練提高了網路簡單記憶輸入樣本的難度，減少了每一次 GAN 需要學習的內容，也就從而增大了 GAN 的學習能力和泛化能力。 在這個基礎上，nvidia-gan生成了1024解析度的圖片，它的網路結構和生成結果如下。

3.3 cross domain學習

cross domain的學習，提供了更豐富的資料生成應用。

在傳統的domain adaption中，我們需要學習或者訓練一個domain adaptor，而這個domain adaptor需要用source domain和對應的target domain的訓練圖片來訓練。coGAN/align gan可以在兩個domain不存在對應樣本的情況下學出一個聯合分佈，方法是每一個domain使用一個GAN，並且將高層的語義資訊進行強制權值共享。 在這樣的基礎上，有一些很有意義的應用。比如蘋果simGAN用於優化模擬資料的方案，此時生成器G的輸入是合成影象，而不是隨機向量，它完美學習到了人工合成圖片（synthetic images）資料分佈到真實圖片（real images）資料分佈的對映。

下面是生成的結果，很有工程意義。 3.4、一些很酷的應用 下面再說一些很酷的應用，細節不再詳述。 creative-gan，用於生成藝術風格的圖片。 DesignGan【14】，用於設計T恤。 TP-GAN【15】，用於人臉正臉化。