原文連結：Deep Learning based Single Image Dehazing（可以自己註冊賬號下載）

本文貢獻：

1、提出了一種利用疊加條件生成對抗網路(GAN)去除RGB影象中霧霾的新方法。它使用一個GAN三元組獨立地去除每個顏色通道上的霧霾。

2、提出了一種基於條件概率模型的多損失函式方案。

3、提出的GAN架構學會了去除霧霾，以霧霾影象作為條件入口，從中獲得清晰的影象。該公式保證了快速的模型訓練收斂性和均勻的模型泛化。

模型架構：

在該體系結構中，基本增加了新的學習層，增加了學習層的深度，學習模型分別由卷積網路、去卷積網路、relu網路、leaky relu網路、全連通網路和啟用函式tanh網路、sigmoid網路組成。此外，該模型的每一層都使用批處理歸一化來訓練任何型別的對映，這些對映由具有元素非線性的仿射變換的多個組合組成，並且不受飽和模式的限制。在生成器模型中，空間資訊的維護是非常重要的，沒有池化和退出層，僅使用1的步幅來避免影象形狀的縮小。為了防止過擬合，我們在生成器模型中添加了l1正則化項()，這種正則化的特殊性在於，權值矩陣最終只使用了它們最重要輸入的一個小子集，並且對輸入中的噪聲非常敏感。

發生器(G)和鑑別器(D)都是前饋的深層神經網路，它們相互之間進行最小-最大博弈。發生器以霧霾影象的每個通道作為輸入，將其轉換為我們想要模擬的資料的形式，在我們的例子中是一個RGB清晰影象。鑑別器以一組資料作為輸入，這些資料要麼是真實的影象(z)，要麼是生成的影象(G(z))，併產生該資料是真實的概率(P(z))。

生成對抗網路生成解決方案，而不是找到一個函式;基於這一原理，作者們提出了一種多重損失的堆疊式網路結構，以改進泛化學習模型，加速在多層次訓練中獲得的多樣性。在生成器網路的每一層都增加了l1正則化項，以防止各系數的擬合過於完美，從而使模型的泛化具有更強的魯棒性;此外，它還有助於減少接觸到訓練較好的網路的時間。

選擇基於堆疊條件網路的體系結構是因為:

1、引入到網路中的輸入來自一個條件預定義的潛在空間，該潛在空間優化了從生成器模型中獲得的更高級別特性;

2、體系結構在競爭環境中推斷模型，直到達到一定的精確度

3、鑑別器網路是生成模型的完美損失函式

4、具有快速收斂能力

組合損失函式：

對抗性損失加上強度損失the adversarial loss plus the intensity loss（MSE） +the structural loss（SSIM） + the image quality loss（IQ）

對抗損失：

D是判別器，G是生成器。

強度損失：

是估計的RGB表示，是真實的RGB影象。這種損失是在不考慮紋理和內容比較的情況下測量影象之間畫素強度的差異。這種損失可以懲罰較大的錯誤，但更能容忍較小的錯誤，而不考慮影象中的特定結構。

下面的損失可以參考這篇文章：https://blog.csdn.net/qq_24477135/article/details/85321166

結構相似度損失SSIM：

IQ損失：

最終的損失：

訓練細節：

由於Stacked-GAN網路非常適合於資料和或引數很大的問題，非常適合於非平穩目標和非常噪聲或稀疏梯度的問題，因此使用隨機AdamOptimazer對其進行了訓練。此外，超引數具有直觀的解釋，通常需要更少的調優，防止過擬合，並導致更快的收斂。此外，該演算法計算效率高，記憶體需求小，對梯度的對角縮放不影響。影象資料集歸一化在(-1,1)範圍內。在訓練過程中使用了以下超引數:G的學習率為0.00002，D網路的學習率為0.00004;ε= 1 e-08;衰減率為0.3. 權重初始化的標準偏差0.0004582，使用L1正則化，權重衰減指數1e-2, leaky relu 引數為0.18，patch大小32x32.

優化：為了提高對真實資料(給定影象的地面真值)的高概率和對生成的虛假資料(錯誤澄清的霧霾影象)的低概率的可能性，對鑑別器進行了優化;因此，條件鑑別器網路更新如下：

其中m為每批patch的個數，x為ground truth影象，y為網路生成的無霧影象(RGB)， z為隨機高斯取樣噪聲。

通過提升鑑別器網路的隨機梯度來更新鑑別器網路(D)的權值。另一方面，對生成器進行優化，以提高生成的資料被高度評價的概率，更新如下：

實驗結果：

總結：

本文利用一種新的疊加條件生成對抗網路模型，解決了霧霾影象生成清晰RGB表示的難題。結果表明，在大多數情況下，網路能夠獲得可靠、清晰的RGB表示。如前所述在討論部分,這種方法限制,需要地面實況影象沒有陰霾的培訓,作為未來的工作,實際上,作為正在進行的工作,我們提出了使用類似GAN架構,但飼料與近紅外光譜影象鑑別器來克服這個限制。今後的工作還將考慮其他損失函式，以改進培訓過程。

想說的：這是利用GAN在去霾領域的應用，相同的還有CycleGAN等。至於問題啥的還看不出來，處於學習過程。