1. 程式人生 > >Attentive Generative Adversarial Network for Raindrop Removal from A Single Image論文理解

Attentive Generative Adversarial Network for Raindrop Removal from A Single Image論文理解

 

概述:

在去雨的過程中給網路加上了attention提取,讓網路能夠更好地學到有雨滴部分的差別。


網路結構如下:

首先使用attention提取網路來獲得包含雨滴的影象的attention影象(值在0-1之間,包含雨滴的地方值較大),attention提取網路中使用通過原圖與gt相減並進行二值化處理之後獲得的mask與網路得到的attention圖來計算loss,以此來優化attention提取網路,loss如下

之後將得到的attention圖與輸入影象concatenate,輸入到autoencoder網路,該網路通過在deconvolution階段不同層與相同大小的gt求loss,並將最後得到的處理結果與gt輸入vgg中提取特徵後求一個perceptual loss

 

其中

鑑別器結構:

在鑑別器中去中間層的feature輸入到一個cnn中,在通過CNN之後的output與attention map之間求loss:,R是隨機的處理得到的影象和gt影象。最後總的loss