之前

GAN網路是近兩年深度學習領域的新秀，火的不行，本文旨在淺顯理解傳統GAN，分享學習心得。現有GAN網路大多數程式碼實現使用python、torch等語言，這裡，後面用matlab搭建一個簡單的GAN網路，便於理解GAN原理。

• 分享一個目前各類GAN的一個
• 再分享一個目前各類GAN的一個

開始

我們知道GAN的思想是是一種二人零和博弈思想（two-player game），博弈雙方的利益之和是一個常數，比如兩個人掰手腕，假設總的空間是一定的，你的力氣大一點，那你就得到的空間多一點，相應的我的空間就少一點，相反我力氣大我就得到的多一點，但有一點是確定的就是，我兩的總空間是一定的，這就是二人博弈，但是呢總利益是一定的。

引申到GAN裡面就是可以看成，GAN中有兩個這樣的博弈者，一個人名字是生成模型（G），另一個人名字是判別模型（D）。他們各自有各自的功能。

相同點是：

• 這兩個模型都可以看成是一個黑匣子，接受輸入然後有一個輸出，類似一個函式，一個輸入輸出對映。

不同點是：

• 生成模型功能：比作是一個樣本生成器，輸入一個噪聲/樣本，然後把它包裝成一個逼真的樣本，也就是輸出。
• 判別模型：比作一個二分類器（如同0-1分類器），來判斷輸入的樣本是真是假。（就是輸出值大於0.5還是小於0.5）;

直接上一張個人覺得解釋的好的圖說明：

在之前，我們首先明白在使用GAN的時候的2個問題

• 我們有什麼？
  比如上面的這個圖，我們有的只是真實採集而來的人臉樣本資料集，僅此而已，而且很關鍵的一點
  是我們連人臉資料集的類標籤都沒有，也就是我們不知道那個人臉對應的是誰。
• 我們要得到什麼
  至於要得到什麼，不同的任務得到的東西不一樣，我們只說最原始的GAN目的，那就是我們想通過輸入一個噪聲，模擬得到一個人臉影象，這個影象可以非常逼真以至於以假亂真。

好了再來理解下GAN的兩個模型要做什麼。首先判別模型，就是圖中右半部分的網路，直觀來看就是一個簡單的神經網路結構，輸入就是一副影象，輸出就是一個概率值，用於判斷真假使用（概率值大於0.5那就是真，小於0.5那就是假），真假也不過是人們定義的概率而已。其次是生成模型，生成模型要做什麼呢，同樣也可以看成是一個神經網路模型，輸入是一組隨機數Z，輸出是一個影象，不再是一個數值而已。從圖中可以看到，會存在兩個資料集，一個是真實資料集，這好說，另一個是假的資料集，那這個資料集就是有生成網路造出來的資料集。好了根據這個圖我們再來理解一下GAN的目標是要幹什麼：

• 判別網路的目的：就是能判別出來屬於的一張圖它是來自真實樣本集還是假樣本集。假如輸入的是真樣本，網路輸出就接近1，輸入的是假樣本，網路輸出接近0，那麼很完美，達到了很好判別的目的。
• 生成網路的目的：生成網路是造樣本的，它的目的就是使得自己造樣本的能力盡可能強，強到什麼程度呢，你判別網路沒法判斷我是真樣本還是假樣本。

有了這個理解我們再來看看為什麼叫做對抗網路了。判別網路說，我很強，來一個樣本我就知道它是來自真樣本集還是假樣本集。生成網路就不服了，說我也很強，我生成一個假樣本，雖然我生成網路知道是假的，但是你判別網路不知道呀，我包裝的非常逼真，以至於判別網路無法判斷真假，那麼用輸出數值來解釋就是，生成網路生成的假樣本進去了判別網路以後，判別網路給出的結果是一個接近0.5的值，極限情況就是0.5，也就是說判別不出來了，這就是納什平衡了。

由這個分析可以發現，生成網路與判別網路的目的正好是相反的，一個說我能判別的好，一個說我讓你判別不好。所以叫做對抗，叫做博弈。那麼最後的結果到底是誰贏呢？這就要歸結到設計者，也就是我們希望誰贏了。作為設計者的我們，我們的目的是要得到以假亂真的樣本，那麼很自然的我們希望生成樣本贏了，也就是希望生成樣本很真，判別網路能力不足以區分真假樣本位置。

再理解

知道了GAN大概的目的與設計思路，那麼一個很自然的問題來了就是我們該如何用數學方法解決這麼一個對抗問題。這就涉及到如何訓練這樣一個生成對抗網路模型了，還是先上一個圖，用圖來解釋最直接：

需要注意的是生成模型與對抗模型可以說是完全獨立的兩個模型，好比就是完全獨立的兩個神經網路模型，他們之間沒有什麼聯絡。

好了那麼訓練這樣的兩個模型的大方法就是：單獨交替迭代訓練。

什麼意思？因為是2個網路，不好一起訓練，所以才去交替迭代訓練，我們一一來看。
假設現在生成網路模型已經有了（當然可能不是最好的生成網路），那麼給一堆隨機陣列，就會得到一堆假的樣本集（因為不是最終的生成模型，那麼現在生成網路可能就處於劣勢，導致生成的樣本就不咋地，可能很容易就被判別網路判別出來了說這貨是假冒的），但是先不管這個，假設我們現在有了這樣的假樣本集，真樣本集一直都有，現在我們人為的定義真假樣本集的標籤，因為我們希望真樣本集的輸出儘可能為1，假樣本集為0，很明顯這裡我們就已經預設真樣本集所有的類標籤都為1，而假樣本集的所有類標籤都為0. 有人會說，在真樣本集裡面的人臉中，可能張三人臉和李四人臉不一樣呀，對於這個問題我們需要理解的是，我們現在的任務是什麼，我們是想分樣本真假，而不是分真樣本中那個是張三label、那個是李四label。況且我們也知道，原始真樣本的label我們是不知道的。回過頭來，我們現在有了真樣本集以及它們的label（都是1）、假樣本集以及它們的label（都是0），這樣單就判別網路來說，此時問題就變成了一個再簡單不過的有監督的二分類問題了，直接送到神經網路模型中訓練就完事了。假設訓練完了，下面我們來看生成網路。

對於生成網路，想想我們的目的，是生成儘可能逼真的樣本。那麼原始的生成網路生成的樣本你怎麼知道它真不真呢？就是送到判別網路中，所以在訓練生成網路的時候，我們需要聯合判別網路一起才能達到訓練的目的。什麼意思？就是如果我們單單隻用生成網路，那麼想想我們怎麼去訓練？誤差來源在哪裡？細想一下沒有，但是如果我們把剛才的判別網路串接在生成網路的後面，這樣我們就知道真假了，也就有了誤差了。所以對於生成網路的訓練其實是對生成-判別網路串接的訓練，就像圖中顯示的那樣。好了那麼現在來分析一下樣本，原始的噪聲陣列Z我們有，也就是生成了假樣本我們有，此時很關鍵的一點來了，我們要把這些假樣本的標籤都設定為1，也就是認為這些假樣本在生成網路訓練的時候是真樣本。那麼為什麼要這樣呢？我們想想，是不是這樣才能起到迷惑判別器的目的，也才能使得生成的假樣本逐漸逼近為正樣本。好了，重新順一下思路，現在對於生成網路的訓練，我們有了樣本集（只有假樣本集，沒有真樣本集），有了對應的label（全為1），是不是就可以訓練了？有人會問，這樣只有一類樣本，訓練啥呀？誰說一類樣本就不能訓練了？只要有誤差就行。還有人說，你這樣一訓練，判別網路的網路引數不是也跟著變嗎？沒錯，這很關鍵，所以在訓練這個串接的網路的時候，一個很重要的操作就是不要判別網路的引數發生變化，也就是不讓它引數發生更新，只是把誤差一直傳，傳到生成網路那塊後更新生成網路的引數。這樣就完成了生成網路的訓練了。

在完成生成網路訓練好，那麼我們是不是可以根據目前新的生成網路再對先前的那些噪聲Z生成新的假樣本了，沒錯，並且訓練後的假樣本應該是更真了才對。然後又有了新的真假樣本集（其實是新的假樣本集），這樣又可以重複上述過程了。我們把這個過程稱作為單獨交替訓練。我們可以實現定義一個迭代次數，交替迭代到一定次數後停止即可。這個時候我們再去看一看噪聲Z生成的假樣本會發現，原來它已經很真了。

看完了這個過程是不是感覺GAN的設計真的很巧妙，個人覺得最值得稱讚的地方可能在於這種假樣本在訓練過程中的真假變換，這也是博弈得以進行的關鍵之處。

進一步

文字的描述相信已經讓大多數的人知道了這個過程，下面我們來看看原文中幾個重要的數學公式描述，首先我們直接上原始論文中的目標公式吧：

上述這個公式說白了就是一個最大最小優化問題，其實對應的也就是上述的兩個優化過程。有人說如果不看別的，能達看到這個公式就拍案叫絕的地步，那就是機器學習的頂級專家，哈哈，真是前路漫漫。同時也說明這個簡單的公式意義重大。

這個公式既然是最大最小的優化，那就不是一步完成的，其實對比我們的分析過程也是這樣的，這裡現優化D，然後在取優化G，本質上是兩個優化問題，把拆解就如同下面兩個公式：

優化D：

優化G：

可以看到，優化D的時候，也就是判別網路，其實沒有生成網路什麼事，後面的G(z)這裡就相當於已經得到的假樣本。優化D的公式的第一項，使的真樣本x輸入的時候，得到的結果越大越好，可以理解，因為需要真樣本的預測結果越接近於1越好嘛。對於假樣本，需要優化是的其結果越小越好，也就是D(G(z))越小越好，因為它的標籤為0。但是呢第一項是越大，第二項是越小，這不矛盾了，所以呢把第二項改成1-D(G(z))，這樣就是越大越好，兩者合起來就是越大越好。 那麼同樣在優化G的時候，這個時候沒有真樣本什麼事，所以把第一項直接卻掉了。這個時候只有假樣本，但是我們說這個時候是希望假樣本的標籤是1的，所以是D(G(z))越大越好，但是呢為了統一成1-D(G(z))的形式，那麼只能是最小化1-D(G(z))，本質上沒有區別，只是為了形式的統一。之後這兩個優化模型可以合併起來寫，就變成了最開始的那個最大最小目標函數了。

所以回過頭來我們來看這個最大最小目標函式，裡面包含了判別模型的優化，包含了生成模型的以假亂真的優化，完美的闡釋了這樣一個優美的理論。

再進一步

有人說GAN強大之處在於可以自動的學習原始真實樣本集的資料分佈，不管這個分佈多麼的複雜，只要訓練的足夠好就可以學出來。針對這一點，感覺有必要好好理解一下為什麼別人會這麼說。

我們知道，傳統的機器學習方法，我們一般都會定義一個什麼模型讓資料去學習。比如說假設我們知道原始資料屬於高斯分佈呀，只是不知道高斯分佈的引數，這個時候我們定義高斯分佈，然後利用資料去學習高斯分佈的引數得到我們最終的模型。再比如說我們定義一個分類器，比如SVM，然後強行讓資料進行東變西變，進行各種高維對映，最後可以變成一個簡單的分佈，SVM可以很輕易的進行二分類分開，其實SVM已經放鬆了這種對映關係了，但是也是給了一個模型，這個模型就是核對映（什麼徑向基函式等等），說白了其實也好像是你事先知道讓資料該怎麼對映一樣，只是核對映的引數可以學習罷了。所有的這些方法都在直接或者間接的告訴資料你該怎麼對映一樣，只是不同的對映方法能力不一樣。那麼我們再來看看GAN，生成模型最後可以通過噪聲生成一個完整的真實資料（比如人臉），說明生成模型已經掌握了從隨機噪聲到人臉資料的分佈規律了，有了這個規律，想生成人臉還不容易。然而這個規律我們開始知道嗎？顯然不知道，如果讓你說從隨機噪聲到人臉應該服從什麼分佈，你不可能知道。這是一層層對映之後組合起來的非常複雜的分佈對映規律。然而GAN的機制可以學習到，也就是說GAN學習到了真實樣本集的資料分佈。

再拿原論文中的一張圖來解釋：

這張圖表明的是GAN的生成網路如何一步步從均勻分佈學習到正太分佈的。原始資料x服從正太分佈，這個過程你也沒告訴生成網路說你得用正太分佈來學習，但是生成網路學習到了。假設你改一下x的分佈，不管什麼分佈，生成網路可能也能學到。這就是GAN可以自動學習真實資料的分佈的強大之處。

還有人說GAN強大之處在於可以自動的定義潛在損失函式。 什麼意思呢，這應該說的是判別網路可以自動學習到一個好的判別方法，其實就是等效的理解為可以學習到好的損失函式，來比較好或者不好的判別出來結果。雖然大的loss函式還是我們人為定義的，基本上對於多數GAN也都這麼定義就可以了，但是判別網路潛在學習到的損失函式隱藏在網路之中，不同的問題這個函式就不一樣，所以說可以自動學習這個潛在的損失函式。

開始做小實驗

本節主要實驗一下如何通過隨機陣列生成mnist影象。mnist手寫體資料庫應該都熟悉的。這裡簡單的使用matlab來實現，方便看到整個實現過程。這裡用到了一個工具箱
DeepLearnToolbox,關於該工具箱的一些其他使用說明

網路結構很簡單，就定義成下面這樣子：

將上述工具箱新增到路徑，然後執行下面程式碼：

clc
clear
%% 構造真實訓練樣本 60000個樣本 1*784維（28*28展開）
load mnist_uint8;

train_x = double(train_x(1:60000,:)) / 255;
% 真實樣本認為為標籤 [1 0]； 生成樣本為[0 1];
train_y = double(ones(size(train_x,1),1));
% normalize
train_x = mapminmax(train_x, 0, 1);

rand('state',0)
%% 構造模擬訓練樣本 60000個樣本 1*100維
test_x = normrnd(0,1,[60000,100]); % 0-255的整數
test_x = mapminmax(test_x, 0, 1);

test_y = double(zeros(size(test_x,1),1));
test_y_rel = double(ones(size(test_x,1),1));

%%
nn_G_t = nnsetup([100 784]);
nn_G_t.activation_function = 'sigm';
nn_G_t.output = 'sigm';

nn_D = nnsetup([784 100 1]);
nn_D.weightPenaltyL2 = 1e-4;  %  L2 weight decay
nn_D.dropoutFraction = 0.5;   %  Dropout fraction 
nn_D.learningRate = 0.01;                %  Sigm require a lower learning rate
nn_D.activation_function = 'sigm';
nn_D.output = 'sigm';
% nn_D.weightPenaltyL2 = 1e-4;  %  L2 weight decay

nn_G = nnsetup([100 784 100 1]);
nn_G.weightPenaltyL2 = 1e-4;  %  L2 weight decay
nn_G.dropoutFraction = 0.5;   %  Dropout fraction 
nn_G.learningRate = 0.01;                %  Sigm require a lower learning rate
nn_G.activation_function = 'sigm';
nn_G.output = 'sigm';
% nn_G.weightPenaltyL2 = 1e-4;  %  L2 weight decay

opts.numepochs =  1;        %  Number of full sweeps through data
opts.batchsize = 100;       %  Take a mean gradient step over this many samples
%%
num = 1000;
tic
for each = 1:1500
    %----------計算G的輸出：假樣本------------------- 
    for i = 1:length(nn_G_t.W)   %共享網路引數
        nn_G_t.W{i} = nn_G.W{i};
    end
    G_output = nn_G_out(nn_G_t, test_x);
    %-----------訓練D------------------------------
    index = randperm(60000);
    train_data_D = [train_x(index(1:num),:);G_output(index(1:num),:)];
    train_y_D = [train_y(index(1:num),:);test_y(index(1:num),:)];
    nn_D = nntrain(nn_D, train_data_D, train_y_D, opts);%訓練D
    %-----------訓練G-------------------------------
    for i = 1:length(nn_D.W)  %共享訓練的D的網路引數
        nn_G.W{length(nn_G.W)-i+1} = nn_D.W{length(nn_D.W)-i+1};
    end
    %訓練G：此時假樣本標籤為1，認為是真樣本
    nn_G = nntrain(nn_G, test_x(index(1:num),:), test_y_rel(index(1:num),:), opts);
end
toc
for i = 1:length(nn_G_t.W)
    nn_G_t.W{i} = nn_G.W{i};
end
fin_output = nn_G_out(nn_G_t, test_x);

函式nn_G_out為：

function output = nn_G_out(nn, x)
    nn.testing = 1;
    nn = nnff(nn, x, zeros(size(x,1), nn.size(end)));
    nn.testing = 0;
    output = nn.a{end};
end

看一下這個及其簡單的函式，其實最值得注意的就是中間那個交替訓練的過程，這裡我分了三步列出來：

• 重新計算假樣本（假樣本每次是需要更新的，產生越來越像的樣本）
• 訓練D網路，一個二分類的神經網路；
• 訓練G網路，一個串聯起來的長網路，也是一個二分類的神經網路（不過只有假樣本來訓練），同時D部分引數在下一次的時候不能變了。

就這樣調一調引數，最終輸出在fin_output裡面，多執行幾次顯示不同執行次數下的結果：

可以看到的是結果還是有點像模像樣的。

實驗總結

執行上述簡單的網路我發現幾個問題：

• 網路存在著不收斂問題；網路不穩定；網路難訓練；讀過原論文其實作者也提到過這些問題，包括GAN剛出來的時候，很多人也在致力於解決這些問題，當你實驗自己碰到的時候，還是很有意思的。那麼這些問題怎麼體現的呢，舉個例子，可能某一次你會發現訓練的誤差很小，在下一代訓練時，馬上又出現極限性的上升的很厲害，過幾代又發現訓練誤差很小，震盪太嚴重。
• 其次網路需要調才能出像樣的結果。交替迭代次數的不同結果也不一樣。比如每一代訓練中，D網路訓練2回，G網路訓練一回，結果就不一樣。
• 這是簡單的無條件GAN，所以每一代訓練完後，只能出現一個結果，那就是0-9中的某一個數。要想在一代訓練中出現好幾種結果，就需要使用到條件GAN了。

最後

現在的GAN已經到了五花八門的時候了，各種GAN應用也很多，理解底層原理再慢慢往上層擴充套件。GAN還是一個很厲害的東西，它使得現有問題從有監督學習慢慢過渡到無監督學習，而無監督學習才是自然界中普遍存在的，因為很多時候沒有辦法拿到監督資訊的。要不Yann Lecun讚歎GAN是機器學習近十年來最有意思的想法。

福利