【GANs學習筆記】（一）初步瞭解GANs
**
第一章 初步瞭解GANs
** **
1. 生成模型與判別模型
** 理解對抗網路，首先要了解生成模型和判別模型。判別模型比較好理解，就像分類一樣，有一個判別界限，通過這個判別界限去區分樣本。從概率角度分析就是獲得樣本x屬於類別y的概率，是一個條件概率P（y|x）。而生成模型是需要在整個條件內去產生資料的分佈，就像高斯分佈一樣，需要去擬合整個分佈，從概率角度分析就是樣本x在整個分佈中的產生的概率，即聯合概率P（xy）。具體可以參考博文： http://blog.csdn.net/zouxy09/article/details/8195017
**
2. 對抗網路思想
** 理解了生成模型和判別模型後，再來理解對抗網路就很直接了，對抗網路只是提出了一種網路結構，總體來說， GANs簡單的想法就是用兩個模型，一個生成模型，一個判別模型。判別模型用於判斷一個給定的圖片是不是真實的圖片（從資料集裡獲取的圖片），生成模型的任務是去創造一個看起來像真的圖片一樣的圖片。而在開始的時候這兩個模型都是沒有經過訓練的，這兩個模型一起對抗訓練，生成模型產生一張圖片去欺騙判別模型，然後判別模型去判斷這張圖片是真是假，最終在這兩個模型訓練的過程中，兩個模型的能力越來越強，最終達到穩態。（本書僅介紹GANs在計算機視覺方面的應用，但是GANs的用途很廣，不單單是影象，其他方面，譬如文字、語音，或者任何只要含有規律的資料合成，都能用GANs實現。）
3. 詳細實現過程
假設我們現在的資料集是手寫體數字的資料集minst，生成模型的輸入可以是二維高斯模型中一個隨機的向量，生成模型的輸出是一張偽造的fake image，同時通過索引獲取資料集中的真實手寫數字圖片real image，然後將fake image和real image一同傳給判別模型，由判別模型給出real還是fake的判別結果。於是，一個簡單的GANs模型就搭建好了。
值得注意的是，生成模型G和判別模型D可以是各種各樣的神經網路，對抗網路的生成模型和判別模型沒有任何限制。
3.1 前向傳播階段
- 模型輸入 1、我們隨機產生一個隨機向量作為生成模型的資料，然後經過生成模型後產生一個新的向量，作為Fake Image，記作D(z)。 2、從資料集中隨機選擇一張圖片，將圖片轉化成向量，作為Real Image,記作x。
- 模型輸出 將由1或者2產生的輸出，作為判別網路的輸入，經過判別網路後輸出值為一個0到1之間的數，用於表示輸入圖片為Real Image的概率，real為1，fake為0。 使用得到的概率值計算損失函式，解釋損失函式之前，我們先解釋下判別模型的輸入。根據輸入的圖片型別是Fake Image或Real Image將判別模型的輸入資料的label標記為0或者1。即判別模型的輸入型別為(x_fake,0)或者(x_real,1)。 3.2 反向傳播階段
- 優化目標 原文給了這麼一個優化函式：
我們來理解一下這個目標公式，先優化D，再優化G，拆解之後即為如下兩步： 第一步：優化D
優化D，即優化判別網路時，沒有生成網路什麼事，後面的G(z)就相當於已經得到的假樣本。優化D的公式的第一項，使得真樣本x輸入的時候，得到的結果越大越好，因為真樣本的預測結果越接近1越好；對於假樣本G(z)，需要優化的是其結果越小越好，也就是D(G(z))越小越好，因為它的標籤為0。但是第一項越大，第二項越小，就矛盾了，所以把第二項改為1-D(G(z))，這樣就是越大越好。 第二步：優化G
在優化G的時候，這個時候沒有真樣本什麼事，所以把第一項直接去掉，這時候只有假樣本，但是這個時候希望假樣本的標籤是1，所以是D(G(z))越大越好，但是為了統一成1-D(G(z))的形式，那麼只能是最小化1-D(G(z))，本質上沒有區別，只是為了形式的統一。之後這兩個優化模型可以合併起來寫，就變成最開始的最大最小目標函數了。 我們依據上面的優化目標函式，便能得到如下模型最終的損失函式。 2. 判別模型的損失函式
當輸入的是從資料集中取出的real Iamge 資料時，我們只需要考慮第二部分，D(x)為判別模型的輸出，表示輸入x為real 資料的概率，我們的目的是讓判別模型的輸出D（x）的輸出儘量靠近1。 當輸入的為fake資料時，我們只計算第一部分，G（z）是生成模型的輸出，輸出的是一張Fake Image。我們要做的是讓D(G(z))的輸出儘可能趨向於0。這樣才能表示判別模型是有區分力的。 相對判別模型來說，這個損失函式其實就是交叉熵損失函式。計算loss，進行梯度反傳。這裡的梯度反傳可以使用任何一種梯度修正的方法。 當更新完判別模型的引數後，我們再去更新生成模型的引數。 3. 生成模型的損失函式
對於生成模型來說，我們要做的是讓G（z）產生的資料儘可能的和資料集中的資料一樣。就是所謂的同樣的資料分佈。那麼我們要做的就是最小化生成模型的誤差，即只將由G（z）產生的誤差傳給生成模型。 但是針對判別模型的預測結果，要對梯度變化的方向進行改變。當判別模型認為G（z）輸出為真實資料集的時候和認為輸出為噪聲資料的時候，梯度更新方向要進行改變。 即最終的損失函式為：
其中D ̅表示判別模型的預測類別，對預測概率取整，為0或者1.用於更改梯度方向，閾值可以自己設定，或者正常的話就是0.5。 4. 反向傳播 我們已經得到了生成模型和判別模型的損失函式，這樣分開看其實就是兩個單獨的模型，針對不同的模型可以按照自己的需要去是實現不同的誤差修正，我們也可以選擇最常用的BP做為誤差修正演算法，更新模型引數。 其實說了這麼多，生成對抗網路的生成模型和判別模型是沒有任何限制，生成對抗網路提出的只是一種網路結構，我們可以使用任何的生成模型和判別模型去實現一個生成對抗網路。當得到損失函式後就安裝單個模型的更新方法進行修正即可。