前言

既然學習了變分自編碼(VAE)，那也必須來一波生成對抗網路(GAN)。

國際慣例，參考網址：

理論

粗略點的講法就說：一個生成器G$G$，一個判別器D$D$，前者用來將噪聲輸入轉換成圖片，後者判別當前輸入圖片是真實的還是生成的。

為了更詳細地瞭解GAN，還是對論文進行簡要的組織、理解吧。有興趣直接看原始論文，這裡進行部分關鍵內容的摘抄。

任意的G$G$和D$D$函式空間都存在特定解，G$G$要能表示訓練集的分佈，而D$D$一定是等於12$\frac{1}{2}$，也就是說判別器無法分辨當前輸入是真的還是假的，這樣就達到了魚目混珠的效果。在GAN中，使用多層感知器構建G$G$和D$D$，整個模型可以使用反向傳播演算法學習。

論文裡面有一句很好的話解釋了GAN的動機：目前深度學習在判別模型的設計中取得了重大成功，但是在生成模型卻鮮有成效，主要原因在於在極大似然估計和相關策略中有很多難以解決的概率計算難題(想想前一篇部落格的變分自編碼的理論，闊怕)，而且丟失了生成背景下的分段線性單元的優勢，因此作者就提出了新的生成模型估計方法，避開這些難題，也就是傳說中的GAN。它的訓練完全不需要什麼鬼似然估計，只需要使用目前炒雞成功的反傳和dropout演算法。

為了讓生成器學到資料分佈pg$p_g$，需要定義一個先驗的噪聲輸入pz(z)$p_z(z)$，然後使用G(z;θg)$G(z;{\theta }_g)$將其對映到資料空間，這裡的G$G$是具有引數θg${\theta }_{}$

g的多層感知器。然後定義另一個多層感知器D(x;θd)$D(x;{\theta }_d)$，輸出一個標量。D(x)$D(x)$代表的是x$x$來自於真實樣本而非生成的樣本pg$p_g$的概率，我們訓練D$D$去最大化將正確標籤同時賦予訓練集和G$G$生成的樣本的概率，也就是D$D$把真的和假的圖片都當成真的了。同時要去訓練G$G$去最小化log(1−D(G(z)))$\log (1-D(G(z)))$，是為了讓生成的圖片被賦予正樣本標籤的概率大點，損失函式就是：

minGmaxDV(D,G)=Ex∼pdata(x)[logD(x)]+Ez∼pz(z)[log(1−D(G(z)))]$$\underset{G}{min}\underset{D}{max}V(D,G)=E_{x\sim p_{data}(x)}[\log D(x$$

)]+Ez∼pz(z)[log⁡(1−D(G(z)))]
在優化D$D$的時候，在訓練的內迴圈中是無法完成的，計算上不允許，並且在有限資料集上會導致過擬合，因此可以以k:1$k:1$ 的訓練次數比例分別優化D$D$和G$G$。這能夠讓D$D$保持在最優解附近，只要G$G$變化比較緩慢。

而且在實際中，上式可能無法提供足夠的梯度讓G$G$很好地學習，在訓練早期，當G$G$很差的時候，D$D$能夠以很高的概率將其歸為負樣本，因為生成的資料與訓練資料差距很大，這樣log(1−D(G(z)))$\log (1-D(G(z)))$就飽和了，與其說最小化log(1−D(G(z)))$\log (1-D(G(z)))$不如去最大化log(D(G(z)))$\log (D(G(z)))$，這個目標函式對G$G$和D$D$的收斂目標不變，但是能早期學習具有更強的梯度。

訓練演算法：

外層一個大迴圈就不說了，對所有的批資料迭代，內層有一個小迴圈，控制上面說的判別器D$D$與生成器G$G$的訓練比例為k:1$k:1$的：

• 以下步驟執行k$k$次：

  • 從噪聲先驗pg(z)$p_g(z)$中取樣m$m$個噪聲樣本{

    相關推薦

    【TensorFlow-windows】學習筆記七——生成對抗網路

    前言 既然學習了變分自編碼(VAE)，那也必須來一波生成對抗網路(GAN)。 國際慣例，參考網址： 理論 粗略點的講法就說：一個生成器GG，一個判別器DD，前者用來將噪聲輸入轉換成圖片，後者判別當前輸入圖片是真實的還是生成的。 為了

    【TensorFlow-windows】學習筆記六——變分自編碼器

    前言 對理論沒興趣的直接看程式碼吧，理論一堆，而且還有點複雜，我自己的描述也不一定準確，但是程式碼就兩三句話搞定了。 國際慣例，參考博文 理論 基礎知識 似然函式(引自百度百科) 似然函式是關於統計模型中的引數的函式，

    【theano-windows】學習筆記十六——深度信念網路DBN

    前言 前面學習了受限玻爾茲曼機(RBM)的理論和搭建方法, 如果稍微瞭解過的人, 肯定知道利用RBM可以堆疊構成深度信念網路(deep belief network, DBN)和深度玻爾茲曼機(deep Boltzmann machine), 這裡就先學習一下

    【theano-windows】學習筆記十一——theano中與神經網路相關函式

    前言 經過softmax和MLP的學習, 我們發現thenao.tensor中除了之前的部落格【theano-windows】學習筆記五——theano中張量部分函式提到的張量的定義和基本運算外, 還有一個方法稱為nnet, 如果自己實現過前面兩篇部落格中的程

    【TensorFlow-windows】(七) CNN之VGG-net的測試

    主要內容： 1.CNN之VGG-net的測試 2.該實現中的函式總結 平臺： 1.windows 10 64位 2.Anaconda3-4.2.0-Windows-x86_64.exe （當時TF還不支援python3.6，又懶得在高版本的an

    【Unity Shaders】學習筆記之法線貼圖(七)

     一、簡介   法線貼圖是凸凹貼圖(Bump mapping)的一種常見應用，簡單說就是在不增加模型多邊形數量的前提下，通過渲染暗部和亮部的不同顏色深度，來為原來的貼圖和模型增加視覺細節和真實效果

    【Unity 3D】學習筆記三十：遊戲元素——遊戲地形

    nbsp 3d遊戲 strong 直觀 分辨率 == 摩擦力 fill 世界 遊戲地形 在遊戲的世界中，必然會有非常多豐富多彩的遊戲元素融合當中。它們種類繁多。作用也不大同樣。一般對於遊戲元素可分為兩種：經經常使用。不經經常使用。經常使用的元素是遊戲中比較重要的元素。一

    【Unity 3D】學習筆記四十二：粒子特效

    空間 獲得 material package 一個 log 創建 spa mpi 粒子特效 粒子特效的原理是將若幹粒子無規則的組合在一起。來模擬火焰，爆炸。水滴，霧氣等效果。要使用粒子特效首先要創建，在hierarchy視圖中點擊create——particle s

    【C語言】學習筆記3——字符串

    store 寫代碼 inf 變量類型 density scanf() 想要 限定符 tor 1. 字符串（charcacter string）是一個或多個字符的序列 2. C語言沒有專門用於存儲字符串的變量類型。字符串都被存儲在char類型的數組種。 3. 數組由連續的

    【C語言】學習筆記7——指針與多維數組

    一個 聲明 %d mage 分享圖片 技術分享 pan 最好 include 1. 聲明一個指向多維數組的指針 int (* pz) [2]; //pz指向一個內涵兩個int類型元素的數組 int * pax[2]; //pax 是一個內含兩個指針元素的

    【Unity 3D】學習筆記四十三：布料

    布料 布料是特殊的元件，它可以變化成任意形狀，比如說：隨風飄的旗子，窗簾等 建立布料的方法有兩種：建立布料物件，在遊戲物件中添加布料元件。前者通過hierarchy檢視中選擇create——cloth即可，建立後，系統會自動將互動布料元件（interactive clot

    【Unity 3D】學習筆記三十四：遊戲元素——常用編輯器元件

    常用編輯器元件 unity的特色之一就是編輯器視覺化，很多常用的功能都可以在編輯器中完成。常用的編輯器可分為兩種：原有元件和拓展元件。原有元件是編輯器原生的一些功能，拓展元件是編輯器智商通過指令碼拓展的新功能。 攝像機 攝像機是unity最為核心元件之一，遊戲介面中顯示的

    【Apache Shiro】學習筆記——Authentication基礎

    從Authentication一步步學習。  先從程式碼開始，執行後再慢慢研究。 以下是我新增的dependecies： <!-- shiro --> <dependency> <groupId>org.apache.shir

    【Unity 3D】學習筆記四十四：路徑渲染

    路徑渲染 路徑渲染屬於特效渲染元件，用於跟隨運動中的遊戲物件。首先在hierarchy檢視中，建立一個球體。然後在選單導航欄中選擇component——effects——trial renderer即可將路徑渲染元件新增至該球體物件中。 cast shadows：顯示陰

    資料庫【mysql篇】學習筆記

          Windows服務 -- 啟動MySQL    net start mysql-- 建立Windows服務    sc create mysql binPath= mysqld_bin_path(注意：等號

    【設計模式】學習筆記14：狀態模式（State）

    public class GumballMachine { State soldOutState; State noQuarterState; State hasQuarterState; State soldState; State state = soldOutState; int c

    【4.14】學習筆記

    今天終於明白為什麼ret2libc 是覆蓋為：A*payload_lenth +system +exit（）+/bin/sh 了因為當覆蓋後eip會擡高四個位元組：參考別人部落格裡的圖。所以/bin/sh是第一個引數，而exit（）則是新的ret。

    【Unity 3D】學習筆記十：GUI Skin（圖形使用者介面面板）

    Unity 學習筆記十 學習資料：《Unity 3D遊戲開發》 宣雨鬆 在這之前的學習的大部分控制元件用來開發遊戲還是太簡陋，為了讓遊戲更具娛樂性和美觀，所以我們就需要學習GUI Skin空間來為遊戲新增色彩。 首先在Project檢視中點選create---->

    【Unity Shaders】學習筆記之Shader簡介(一)

    一、Shader簡介  Shader（著色器）實際上就是一小段程式，它負責將輸入的Mesh（網格）以指定的方式和輸入的貼圖或者顏色等組合作用，然後輸出。繪圖單元可以依據這個輸出將影象繪製到螢幕上。輸

    【Unity 3D】學習筆記二:Button控制元件(按鈕)

    Unity 學習筆記二 學習資料：《Unity 3D遊戲開發》 宣雨鬆 玩過的遊戲也不少，恐怕到現在也沒有見過哪一款遊戲會沒有按鈕控制元件。即使如此，我也不是很喜歡按鈕這個控制元件。對著平的螢幕摸按鈕，總給我一種不實在的感覺吧。也許在未來，按鈕以及其他的控制元件，會被人