1. 前言

GAN(Generative Adversarial Networks)，是生成對抗網路於2014年由Ian Good fellow在他的論文提出。
在GAN被提出之後，立刻在機器學習領域得到了巨大反響，並且被科學工作者們應用在許多領域，且取得了令人印象深刻的成果。在2016NIPS會議上，Goodfellow對GAN做了一次長達2個小時的報告，將GAN的原理，訓練tips，以及一些影響比較大的GAN變體等等綜合在一起，資訊量比較大。

2. 參考資料

3. 研究背景

ML模型分類
其實在機器學習中主要分為兩類模型：
1. 判別模型(Discriminative model)

實現高維的、人可以感知的資訊(如聲音、圖片等)到一個標籤(可以是語義，類別)的對映，如上圖，我們向判別模型輸入一張貓的圖片，就能輸出”cat”的標籤。
2. 生成模型(Generative model)
學習的是真實資料的概率分佈，並且模擬真實資料的生成。對大家來說可能較為常見的例子就是自動編碼器(Autoencoder)和反捲積（Transposed convolution），對這兩者我稍微解釋一下。
- 自動編碼器：見上圖，自動編碼器分為encoder（編碼器）和decoder（解碼器）。將圖片輸入自動編碼器時，編碼器首先對影象進行編碼，然後通過解碼器恢復成原圖。在整個網路訓練好以後，如果我們將編碼器去掉，留下從code通過解碼器的一個結構，那這個就是生成真實資料的過程，因此code通過decoder這部分結構

這屬於一種生成模型。
- 反捲積：卷積實際上會對圖片進行下采樣，而反捲積的過程會對影象進行上取樣，這個上取樣的過程也是一種生成的過程，因此也屬於生成模型。在討論的時候，學長提到反捲積可以被歸為自動編碼器，因為卷積和反捲積的kernel是互為轉置的關係，與解碼器與編碼器之間的關係一致，但是我表示不同意啦，因為在訓練時，自動編碼器的編碼器和解碼器是一起訓練的，但是反捲積的核是利用訓練好的卷積核進行變換的，即不是聯合訓練得到的。(Update:17.9.14，還沒研究過反捲積，日後可能需要修改。)
生成模型的任務和難點

生成模型的任務是學習概率密度並且生成資料，但在求解真實資料的概率密度分佈的過程中有很大難度，常用的方法有最大似然估計(Maximum likelihood estimation)等，要求解概率幾乎無法進行。
而Goodfellow就想到一種超奇妙的方法，利用判別網路(D)和生成網路(G)兩個網路一起訓練，成功繞開以上的難點，模擬真實資料的生成。

4. GAN的框架

論文提出了一個新的網路，通過一個對抗的過程來估計生成模型。在這個過程中會同時訓練兩個模型：一個生成模型 $G$ 用於估計資料分佈，一個判別模型 $D$ 來預測一個樣本是來自訓練集（真實資料集）而非 $G$ 的概率。對於 $G$ 來說訓練過程就是要使 $D$ 判斷錯誤的可能性最大化。
形象一點說，生成模型 $G$ 是一個造假幣的人，而辨別模型 $D$ 是一個鑑別真假幣的人， $G$ 的目標是造出能夠以假亂真的假幣，而 $D$ 的目標是正確判別真假，倆人最開始都是新手， $D$ 鑑別能力如果變強，則 $G$ 的造假能力也必須變強才能矇蔽 $D$ 的雙眼； $G$ 造假能力變強之後， $D$ 也必須提高自己的鑑別能力才能做一個合格的鑑別師。於是 $D$ 和 $G$ 在相互博弈的過程當中不斷提高各自的能力，理論上來說，最終 $G$ 則能夠造出接近和真幣一樣的假幣。

4.1 對抗框架(Adeversarial Nets)

將這個框架應用到影象生成上，就有了下面這個框架：
GAN框架
同樣，框架中涉及到兩個網路 $G$ 和 $D$ ，對這倆網路引數進行更加詳細的解釋：
$x_{f a k e} = G (z; θ^{(G)})$ ：表示 $G$ 的輸入是噪聲 $z$ （符合特定分佈），輸出 $x$ ，即假的圖片，而 $θ^{(G)}$ 則是生成器 $G$ 裡的待訓練權重集合；
$D (x; θ^{(D)}) \in [0, 1]$ ：表示 $D$ 的輸入是 $x$ (分為 $x_{f a k e}$ 和 $x_{r e a l}$ )， $D$ 會對輸入的圖片 $x$ 做一個判斷，得到 $x$ 是真的概率，由此輸出一個範圍在 $[0, 1]$ 之間的數， $θ^{(D)}$ 則是辨別器 $D$ 裡的待訓練引數集合。

上圖中的工作流程解釋：
從符合特定分佈的噪聲中取樣一定數目的點 $z$ 輸入生成器，生成假造的資料 $x_{f a k e}$ 向 $D$ 輸入，另外向 $D$ 同時輸入的還有真實資料 $x_{r e a l}$ 。按照 $D$ 和 $G$ 各自的目標： $D$ 希望辨別真假的能力強，則希望相應的 $D (x_{r e a l})$ 接近1，而 $D (x_{f a k e})$ (即 $D (G (z))$ )接近0；而 $G$ 的任務是希望 $D (x_{f a k e})$

相關推薦

生成式對抗網路Generative Adversarial Networks(GANs)論文筆記

1. 前言 GAN(Generative Adversarial Networks)，是生成對抗網路於2014年由Ian Good fellow在他的論文提出。在GAN被提出之後，立刻在機器學習領域得到了巨大反響，並且被科學工作者們應用在許多領域

GANs學習系列(5): 生成式對抗網路Generative Adversarial Networks

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文分類整理了45篇近兩年的論文，著重梳理了主幹論文之間的聯絡

GANs學習系列(7)：拉普拉斯金字塔生成式對抗網路Laplacian Pyramid of Adversarial Networks

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文分類整理了45篇近

【Learning Notes】生成式對抗網路（Generative Adversarial Networks，GAN）

在學習 Variational Auto-Encoder時，同時注意到了 GAN 研究的火熱。但當時覺得 GAN 非常不成熟（訓練不穩定，依賴各種說不清的 tricks；沒有有效的監控指標，需要大量的人工判斷，因此難以擴展到圖像之外的高維數據）。在讀了 Good

生成式對抗網路GAN研究進展（五）——Deep Convolutional Generative Adversarial Nerworks，DCGAN

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文

生成式對抗網路GAN研究進展（四）——Laplacian Pyramid of Adversarial Networks，LAPGAN

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文

生成式對抗網路（GAN）

　　生成對抗網路（GAN），是深度學習模型之一，2014年lan Goodfellow的開篇之作Generative Adversarial Network， GAN概述　　GAN包括兩個模型，一個是生成模型（generative model），一個

GAN (生成式對抗網路) （一）： GAN 簡介

自從 Ian Goodfellow 在 14 年發表了論文 Generative Adversarial Nets 以來，生成式對抗網路 GAN 廣受關注，加上學界大牛 Yann Lecun 在 Quora 答題時曾說，他最激動的深度學習進展是生成式對抗網路，使得 GAN 成為近年來在機器學習

【機器學習】生成式對抗網路模型綜述

生成式對抗網路模型綜述摘要生成式對抗網路模型(GAN)是基於深度學習的一種強大的生成模型，可以應用於計算機視覺、自然語言處理、半監督學習等重要領域。生成式對抗網路最最直接的應用是資料的生成，而資料質量的好壞則是評判GAN成功與否的關鍵。本文介紹了GAN最初被提出時的基本思想，闡述了其一步

深度學習-54:生成式對抗網路GAN(原理、模型和演進)

深度學習-52:生成式對抗網路GAN(原理、模型和演進) 一般的學習模型都是基於一個假設的隨機分佈，然後通過訓練真實資料來擬合出模型。網路模型複雜並且資料集規模也不小，這種方法簡直就是憑藉天生蠻力解決問題。Goodfellow認為正確使用資料的方式，先對資料集

生成式對抗網路（GAN）相關問題彙總（較全面）

今年暑假在北京大學參加了一個月的人工智慧DeeCamp訓練營培訓，期間實踐課題是：基於文字的影象生成，用到了各種GAN網路對比試驗結果。當時只是想著實驗各種GAN看效果，對於每一個GAN都有什麼改進一知半解。接下來還要指導一篇基於GAN的水下影象生成本科生畢設，現在整理一下網

到底什麼是生成式對抗網路 GAN？

到底什麼是生成式對抗網路 GAN？先來看一下百度百科-GAN 的解釋生成式對抗網路（GAN, Generative Adversarial Networks ）是一種深度學習模型，是近年來複雜分佈上無監督學習最具前景的方法之一。模型通過框架中（至少）兩個模組：生成模型

生成式對抗網路GAN-入門篇

生成式對抗網路GAN-入門篇近年來，GAN逐漸成為了最熱門的神經網路框架。在閱讀了若干篇關於GAN的文章後，希望用盡量通俗易懂的語言對GAN的基本工作原理，最優解推導，訓練方法，存在的問題以及應用做一個簡單的總結並與大家交流，可作為GAN的一個入門參考。

不要慫，就是GAN (生成式對抗網路) （四）：訓練和測試 GAN

在 /home/your_name/TensorFlow/DCGAN/ 下新建檔案 train.py，同時新建資料夾 logs 和資料夾 samples，前者用來儲存訓練過程中的日誌和模型，後者用來儲存訓練過程中取樣器的取樣圖片，在 train.py 中輸入如下程式碼：

不要慫，就是GAN (生成式對抗網路) （六）：Wasserstein GAN（WGAN） TensorFlow 程式碼

先來梳理一下我們之前所寫的程式碼，原始的生成對抗網路，所要優化的目標函式為：此目標函式可以分為兩部分來看： ①固定生成器 G，優化判別器 D，則上式可以寫成如下形式：可以轉化為最小化形式：我們編寫的程式碼中，d_loss_real =

GAN：生成式對抗網路介紹和其優缺點以及研究現狀

本博文是轉載自一篇博文，介紹GAN（Generative Adversarial Networks）即生成式對抗網路的原理以及GAN的優缺點的分析和GAN網路研究發展現狀。下面是內容。 1. 生成式模型 1.1 概述     機器學習方法可以分為生成方法（gen

簡述生成式對抗網路

本文主要闡述了對生成式對抗網路的理解，首先談到了什麼是對抗樣本，以及它與對抗網路的關係，然後解釋了對抗網路的每個組成部分，再結合演算法流程和程式碼實現來解釋具體是如何實現並執行這個演算法的，最後給出一個基於對抗網路改寫的去噪網路執行的結果，效果雖然挺差的，但是有些地方還是挺有意思的。 1.

生成式對抗網路GAN彙總

關於生成式對抗學習(Generative Adversarial Network, GAN)相關文章的閱讀整理以及資源彙總。文章： Generative Adversarial Nets (20

生成式對抗網路GAN研究進展（二）——原始GAN

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文

生成式對抗網路GAN研究進展（一）

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文