1. 程式人生 > >生成對抗網路(GAN)的變體pix2pix思想

生成對抗網路(GAN)的變體pix2pix思想

1.概述

pix2pix 是對抗生成網路的一種變體,它的結構類似於CGAN,但又有別於CGAN。先來說一下它能做哪些事情,顧名思義就是將一張圖片轉成另一張圖片(千萬不要理解成畫素變畫素啊),或者說將一個場景轉換成另一場景。pix2pix 能做的事情有很多,比如說將素描畫輪廓轉換成圖片,將黑夜場景轉換成白天場景,自動上色,超解析度等等。具體的可以在pix2pix的線上演示體驗。下面列幾個應用例子。 在這裡插入圖片描述 在這裡插入圖片描述 也可以按照自己的意願直接畫圖,然後生成圖片,先點選圖片中的clear, 然後自己畫圖, 點選process 稍等片刻就能生成對應得實物圖。

2.理解pix2pix

還是通過該模型的兩個輸入網路來直觀理解pix2pix. pix2pix 同樣是由兩個網路組成,生成網路G, 判別網路D, 假設我們現在要將A型別的圖片轉換成B型別的圖片,兩個網路的輸入輸出分別是: G: 輸入圖片a(A型別), 輸出生成的圖片G(a) D: 輸入圖片b, 和一個A型別的圖片a, 在a和b項對應得條件下,判斷b圖片是否是真正的B型別的圖片。 要記著D的最終目的就是判斷生成的圖片是否是B型別的圖片(前提是a, b是對應著的,比如畫一個男生的素描輪廓(a), 得到一個男生的實物圖(B),這就是對應的含義)。 下面是pix2pix 結構圖。 在這裡插入圖片描述

先寫這麼多,希望大家能對pix2pix有個直觀的理解,具體的細節請參考原論文