2. 程式人生 > >生成對抗式網路GAN 的 loss

生成對抗式網路GAN 的 loss

阿新 • • 發佈：2019-01-07

GAN同時要訓練一個生成網路(Generator)和一個判別網路(Discriminator)，前者輸入一個noise變數 z ，輸出一個偽圖片資料 G(z;θg)，後者輸入一個圖片(real image)以及偽圖片(fake image)資料 x ，輸出一個表示該輸入是自然圖片或者偽造圖片的二分類置信度 D(x;θd)，理想情況下，判別器D 需要儘可能準確的判斷輸入資料到底是一個真實的圖片還是某種偽造的圖片，而生成器G又需要盡最大可能去欺騙D，讓D把自己產生的偽造圖片全部判斷成真實的圖片。
根據上述訓練過程的描述，我們可以定義一個損失函式：

Loss=1m∑mi=1[logD(xi)+l

og(1−D(G(zi)))]

其中xi,zi 分別是真實的圖片資料以及noise變數。
而優化目標則是：

minGmaxDLoss

不過需要注意的一點是，實際訓練過程中並不是直接在上述優化目標上對 θd,θg 計算梯度，而是分成幾個步驟：

訓練判別器即更新θd：迴圈k次，每次準備一組real image資料 x=x1,x2,⋯,xm 和一組fake image資料z=z1,z2,⋯,zm，計算
∇θd1m∑mi=1[logD(xi)+log(1−D(G(zi)))]
然後梯度上升法更新 θd ；
訓練生成器即更新 θg ：準備一組fake image資料 z=z1,z2,⋯,

zm ，計算
∇θg1m∑mi=1log(1−D(G(zi)))
然後梯度下降法更新 θg。
可以看出，第一步內部有一個k層的迴圈，某種程度上可以認為是因為我們的訓練首先要保證判別器足夠好然後才能開始訓練生成器，否則對應的生成器也沒有什麼作用，然後第二步求提督時只計算fake image那部分資料，這是因為real image不由生成器產生，因此對應的梯度為0。

相關推薦

生成對抗式網路GAN 的 loss

GAN同時要訓練一個生成網路(Generator)和一個判別網路(Discriminator)，前者輸入一個noise變數 z ，輸出一個偽圖片資料 G(z;θg)，後者輸入一個圖片(real image)以及偽圖片(fake image)資料 x ，輸出一個表

【GAN ZOO翻譯系列】s2GAN：使用樣式和結構對抗式網路的生成影象建模

王小龍，Abhinav Gupta 卡耐基梅隆大學機器人研究所 摘要 當前的生成框架使用的端至端的學習，並從均勻噪聲分佈取樣產生影象。然而，這些方法忽略影象形成的最基本的原理。影象是按照以下方式產生的：（a）結構：3D模型；（B）樣式：紋理到結構的對

深度學習----GAN（生成對抗神經網路）原理解析

一、原理部分 首先附上一張流程圖 1.1、 GAN的原理： GAN的主要靈感來源於博弈論中零和博弈的思想，應用到深度學習神經網路上來說，就是通過生成網路G（Generator）和判別網路D（Discriminator）不斷博弈，進而使G學習到資料

深度學習-54:生成式對抗網路GAN(原理、模型和演進)

深度學習-52:生成式對抗網路GAN(原理、模型和演進) 一般的學習模型都是基於一個假設的隨機分佈，然後通過訓練真實資料來擬合出模型。網路模型複雜並且資料集規模也不小，這種方法簡直就是憑藉天生蠻力解決問題。Goodfellow認為正確使用資料的方式，先對資料集

到底什麼是生成式對抗網路 GAN？

到底什麼是生成式對抗網路 GAN？ 先來看一下 百度百科-GAN 的解釋 生成式對抗網路（GAN, Generative Adversarial Networks ）是一種深度學習模型，是近年來複雜分佈上無監督學習最具前景的方法之一。 模型通過框架中（至少）兩個模組：生成模型

生成式對抗網路GAN研究進展（五）——Deep Convolutional Generative Adversarial Nerworks，DCGAN

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文

生成式對抗網路GAN-入門篇

生成式對抗網路GAN-入門篇 近年來，GAN逐漸成為了最熱門的神經網路框架。在閱讀了若干篇關於GAN的文章後，希望用盡量通俗易懂的語言對GAN的基本工作原理，最優解推導，訓練方法，存在的問題以及應用做一個簡單的總結並與大家交流，可作為GAN的一個入門參考。

生成式對抗網路GAN彙總

關於生成式對抗學習(Generative Adversarial Network, GAN)相關文章的閱讀整理以及資源彙總。 文章： Generative Adversarial Nets (20

生成式對抗網路GAN研究進展（二）——原始GAN

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文

生成式對抗網路GAN研究進展（四）——Laplacian Pyramid of Adversarial Networks，LAPGAN

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文

生成式對抗網路GAN研究進展（一）

【前言】     本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文

生成式對抗網路(GAN)綜述——粗淺入門

第一頁今天我要給大家介紹的是GAN（GenerativeAdversarial Networks）生成式對抗網路的研究進展與展望，GAN是一個比較新的生成模型方法，在2014年由Hinton的博士生lan Goodfellow提出，隨後關於GAN的改進型在學術界研究的如火如荼

七個不容易被發現的生成對抗網路（GAN）用例

像許多追隨AI發展的人一樣，我無法忽略生成建模的最新進展，尤其是影象生成中生成對抗網路（GAN）的巨大成功。看看下面這些樣本：它們與真實照片幾乎沒有區別！   從2014年到2018年，面部生成的進展也非常顯著。 這些結果讓我感到興奮，但我內心總是懷疑它們是否真

生成對抗網路（GAN）應用於影象分類

　　近年來，深度學習技術被廣泛應用於各類資料處理任務中，比如影象、語音和文字。而生成對抗網路（GAN）和強化學習（RL）已經成為了深度學習框架中的兩顆“明珠”。強化學習主要用於決策問題，主要的應用就是遊戲，比如deepmind團隊的AlphaGo。因為我的研究方向是影象的有監督分類問題，

洞見 | 生成對抗網路GAN最近在NLP領域有哪些應用

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

初步認識GAN（生成對抗網路）

初步認識GAN（生成對抗網路） 1.GAN的發明 生成模型的基本思想是輸入一個訓練樣本集合，形成樣本概率分佈的表徵。 常用的生成模型是直接推斷他的密度概率函式。 好的生成模型有以下幾方面的實際應用; 1. 提升圖片的質量（高解析度） 2. 預測未來狀態的規劃 3.生成缺失資料和標

生成對抗網路GAN資料打包分享

  全文摘要 生成式對抗網路，即所謂的GAN是近些年來最火的無監督學習方法之一，模型由Goodfellow等人在2014年首次提出，將博弈論中非零和博弈思想與生成模型結合在一起，巧妙避開了傳統生成模型中概率密度估計困難等問題，是生成模型達到良好的效果。本文總結收集了

生成對抗網路學習（GAN）學習筆記

文章目錄 2018-11-16 GAN的原理 2018-11-15 Multimodal Unsupervised Image-to-Image Translation 2018-11-13 Image-to-

在瀏覽器中進行深度學習：TensorFlow.js (八）生成對抗網路 （GAN

Generative Adversarial Network 是深度學習中非常有趣的一種方法。GAN最早源自Ian Goodfellow的這篇論文。LeCun對GAN給出了極高的評價： “There are many interesting recent development in deep learni

keras 實現GAN（生成對抗網路）

本文將介紹如何在Keras中以最小的形式實現GAN。具體實現是一個深度卷積GAN，或DCGAN：一個GAN，其中generator和discriminator是深度卷積網路，它利用`Conv2DTranspose`層對generator中的影象上取樣。 然後將在CIFAR10的影象上訓練GAN，CI