2. 程式人生 > >個人總結：Generative Adversarial Nets GAN原始公式的得來與推導

個人總結：Generative Adversarial Nets GAN原始公式的得來與推導

阿新 • • 發佈：2018-11-16

根據文章所述，x_{i} 為原始資料，z_{i} 使用的噪聲資料，i\in [1, m],  m 為batch_size的大小。

而 G(z_{i}) 為通過生成器生成的資料，也就是說x_{i} 與G(z_{i})是能夠互相對立的競爭對手。生成器生成了G(z_{i})妄圖模擬到x_{i}的效果達到“欺騙”判別器的目的。

x_{i}\rightleftharpoons G(z_{i})   ............................(1)

對於判別器來說，其中D(x_{i})是判別器認定為真假的概率，在0到1之間，這個地方大家很容易理所當然，一定要記住記住記住，因為對於後續公式的理解很重要。它認為越“真”的資料，給出的概率就越接近1,所以對(1)式左邊，它有兩個目的 \max_D D(x_{i})

 以及 \min_DD(G(z_{i})),這很容易理解，判別器希望認定“真”的概率越大，接近1；“假”的概率越小，接近0。

對於(1)式右邊，生成器的目的和判別器相悖，它希望\max_G D(G(z_{i}))，也就是希望自己生成的資料越接近真實資料。

所以我們現在可以寫成

D: 1.\max_D D(x_{i}) .....2.\min_D D(G(z_{i}))     .........................(2) //中間的點為空格，1和2為序號

G: \max_GD(G(z_{i}))      ...............................(3)

可以很明顯地看到(2)的2與(3)相矛盾，對啊，這就是博弈的過程，minmax。

接下來，我們可以對(2)式的2，以及(3)進行等價調整,我們將min通過將1進行減法就得到等價變換

D: 1.\max_D D(x_{i}) .....2.\max_D 1 - D(G(z_{i}))     .........................(4)

G: \min_G 1 - D(G(z_{i}))      ...............................(5)

這樣變換的原因原始論文中的表述是能夠得到更加穩健的梯度。

接下來，我們將公式再進行升級，由於我們前面得到的所有都是概率，為方便後續求梯度，我們在所有公式前面加上Log

D: 1.\max_D log(D(x_{i})) .....2.\max_D log(1 - D(G(z_{i}))) .......................(6)

G: \min_G log(1 - D(G(z_{i})))...................(7)

好的，接下來我們可以將(6)式進行合併了，得到

D:\max_D log(D(x_{i}))+log(1 - D(G(z_{i})))   ........................(8)

公式推導到這裡就差不多了，接下來就是交替訓練的過程，論文中提示的是訓練k次判別器，然後訓練一次生成器。

我們將(7)(8)進行結合，就得到了更加接近論文原始公式的東西

\min_G\max_D log(D(x_{i}))+log(1 - D(G(z_{i})))..........................(9)

這裡可能需要仔細看一下，因為已經變成了一個minmax公式了。公式的前半部分和後半部分是判別器用到的部分，而生成器只用到了後半部分。

好勒，現在還記得我之前提到的i\in [1, m],  m 為batch_size的大小嗎。

我們將minibatch裡面所有的資料相加，再對其取均值。這裡我們使用(9)。

\min_G\max_D \frac{1}{m}\sum_{i=1}^{m} log(D(x_{i}))+log(1 - D(G(z_{i}))).....................(10)

咦，是不是有點眼熟呢？對啊，這樣我們就求取了一個Minibatch的期望！

此時我們已經可以將(10)等價寫成

\min_G\max_D E_{x\sim p_{data}} log(D(x))+E_{z\sim p_z(z))}log(1 - D(G(z)))........................(11)

是的，這就是論文中的原始公式了，要注意 x_{i} 和 z_{i} 已經變成了 {\color{Magenta} }x 和 z 哦，代表的是一個minibatch。

好的，接下來，我們使用(10)中只涉及到判別器的部分，也就是

\max_D \frac{1}{m}\sum_{i=1}^{m} log(D(x_{i}))+log(1 - D(G(z_{i}))).......................(12)

我們想使判別器得到“滿足”，也就是\max_D，通過這樣來更新判別器的引數，我們就需要求(12)的梯度。

\bigtriangledown_{\theta_d} \frac{1}{m}\sum_{i=1}^{m} log(D(x_{i}))+log(1 - D(G(z_{i}))).........................(13)

對啦，這就是論文中的那個求判別器梯度的公式了。

同理，我們使用(10)中只涉及到生成器的部分，也就是

\min_G \frac{1}{m}\sum_{i=1}^{m} log(1 - D(G(z_{i})))............................(14)

然後也是同樣的

\bigtriangledown_{\theta_g} \frac{1}{m}\sum_{i=1}^{m}log(1 - D(G(z_{i}))).................................(15)

這樣就得到論文中求生成器的梯度的公式啦。

我們將得到的生成器和判別器的梯度用於隨機梯度下降法（當然也有其他種優化方法），我們就可以更新它們的引數，使我們的矛更加鋒利，我們的盾更加堅固，以己之矛，攻己之盾，在不斷的交替更新下，我們的生成器和判別器得到了不斷的改良和優化。最終，我們能得到“近似”真實資料分佈的“假資料”。這就是GAN的思想啦。

PS:如果有說的不對的地方，歡迎各路大神指正。感謝觀看！

相關推薦

個人總結：Generative Adversarial Nets GAN原始公式的得來與推導

根據文章所述， 為原始資料， 使用的噪聲資料，,   為batch_size的大小。 而  為通過生成器生成的資料，也就是說 與是能夠互相對立的競爭對手。生成器生成了妄圖模擬到的效果達到“欺騙”判別器的目的。

Generative Adversarial Nets(GAN Tensorflow)

概率 制造 display 變量 pan clas cli tps OS Generative Adversarial Nets（簡稱GAN）是一種非常流行的神經網絡。 它最初是由Ian Goodfellow等人在NIPS 2014論文中介紹的。 這篇論文引發了很多關於神經

一文讀懂對抗生成學習(Generative Adversarial Nets)[GAN]

一文讀懂對抗生成學習(Generative Adversarial Nets)[GAN] 0x00 推薦論文 https://arxiv.org/pdf/1406.2661.pdf 0x01什麼是gan Generative model G用來生成樣本 Discriminative mo

Resources and Implementations of Generative Adversarial Nets: GAN, DCGAN, WGAN, CGAN, InfoGAN

I organized this reposity mainly for learning GANs, so all codes about classical GANs were implemented with simple network structure and

論文閱讀筆記（四十六）：Generative Adversarial Nets

Abstract We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train

《GraphGAN：Graph Representation Learning with Generative Adversarial Nets》論文閱讀筆記

最近在準備碩士期間的畢業論文的開題工作，也是比較愁於沒有什麼好的畢業設計的想法。在學習完這篇論文後，我發現基於生成對抗網路的網路表示學習的方法挺有意思。通過寫這篇部落格也是想要加深自己對這篇論文的idea的理解，同時也想著是否我也可以提出一種改進或是適當借鑑一下這種思想。 &nbs

【GAN ZOO閱讀】Generative Adversarial Nets 生成對抗網路 原文翻譯 by zk

Ian J. Goodfellow, Jean Pouget-Abadie ∗ , Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair † , Aaron Courville, Yoshua Bengio ‡

GAN（Generative Adversarial Nets）研究進展

想與大家分享的是影象生成中一些工作。 這些工作都基於一大類模型，Generative Adversarial Networks（GAN）。從模型名稱上甚至都可以看出一些發展軌跡：GAN->CGAN->LAPGAN->DCGAN->GRAN-&g

Wasserstein Generative Adversarial Nets(WGAN)

權重 https mathjax blank min www. margin xmlns nbsp GAN目前是機器學習中非常受歡迎的研究方向。主要包括有兩種類型的研究，一種是將GAN用於有趣的問題，另一種是試圖增加GAN的模型穩定性。 事實上，穩定性在GAN訓練中是非常

Face Aging with Contextual Generative Adversarial Nets

網路結構如圖2所示,首先按照68個人臉特徵點對輸入影象進行對齊,之後,採用Deeplab v2演算法將輸入影象分割為 人臉區域,和非人臉區域,並將非人臉區域標記為灰色. 生成網路-Transformer network 將處理後的影象,與年齡lable

個人總結：kafka 邏輯圖 和 物理部署圖

                        &nbs

個人總結：關於tf.nn.conv2d（卷積）與tf.nn.conv2d_transpose（反捲積）的區別

官網中對於卷積tf.nn.conv2d的描述 tf.nn.conv2d(     input,     filter,     strides,     padding,     use_cudn

Generative Adversarial Network (GAN) 生成對抗網路

Part One. Introduction of GAN The Structure of GAN 其中可以看到GAN中有兩個最關鍵的結構就是generator（生成器）和discriminator（判別器）。生成器是為了生成接近真實資料分佈的虛假樣本，判別器是為了

個人總結：Sql（二：增&刪&改|I&D&U）

Insert insert into TNAME value(V1,V2,V3); 或 insert into TNAME values(V1,V2,V3); 或 insert into TNAME(C1,C2,C3…) value(V1,V2,V3…); 或

Generative Adversarial Nets[Theory&MSE]

本文來自《deep multi-scale video prediction beyond mean square error》，時間線為2015年11月，LeCun等人的作品。 從一個視訊序列中預測未來的影象幀涉及到構建一個內部表徵，該表徵能夠對準確對圖片幀演化（如影象內容和動態）進行建模。這就是為什麼

個人總結：ubuntu 命令的使用(三 )

61. scp: 遠端拷貝61.1 scp 1.txt [email protected]:/home/python/Desktop -> 把本地檔案遠端拷貝到伺服器端61.2 scp -r 123 [email protected]:/home/p

個人總結：AS升級到3.0後遇到的問題及解決方法

這幾天谷歌推出了as3.0的正式版，相信大家都進行更新了，然後對3.0的新特性也有過一些瞭解，最後磨刀霍霍開始宰殺，然鵝卻一不小心就開始了排坑之路。 第一坑、必須升級gradle到4.0以上 相信這個大坑，一般使用as的人都會解決了，所以就不多說

Generative Adversarial Nets[iGAN]

本文來自《Generative Visual Manipulation on the Natural Image Manifold》，是大神Jun-Yan Zhu在2016年9月的作品。 0 引言 視覺交流在現在的社會發展中一直處於技術不夠強大的現狀，比如你想要去商場買個衣服，你想要告知導購衣服的顏色

個人總結：oracle資料庫監聽服務啟動不成功

1。IP錯誤。 在設定URL時錯誤，例如：jdbc:oracle:thin:@192.168.0.36:1521:sharp 資料庫伺服器不正確：ping 伺服器IP是否正確。不正確，將URL更改為正確 埠號錯誤：一般不會錯誤。 進行一下操作：在DOS上鍵入sqlplus

【Paper Note】Generative Adversarial Nets 論文理解

前言 起先接觸GAN，被論文中的公式嚇到了~~~這尼瑪都是什麼鬼~~~啃了很久，終於把論文中的模型推匯出來，整理成這篇文章。 GAN介紹 Generative Adversarial Nets這篇論文是Ian Goodfellow等人於2014年發表，至此，GAN在深