目錄：

• 相關鏈接
• 方法亮點
• 方法細節
• 實驗結果
• 總結與收獲

相關鏈接：

論文：https://arxiv.org/abs/1811.08747

源碼：暫無

方法亮點：

• 提出端到端的去霧網絡，不依賴於先驗
• 采用了smooth dilated convolution 代替原有的dilated convolution，解決了原來的dilated convolution導致的grid artifacts 問題
• 提出了一個gated fusion sub-network，融合high-level 及low-level 特征，提升復原效果

方法細節：

1、smoothed dilated convolution

上面的圖表示的是原始的空洞卷積的工作，從圖中不同顏色的塊塊可以看出，經過dilated rate(r)>1的空洞卷積後，輸出的特征層中相鄰的特征值與輸入特征層是完全獨立的，沒有相互依賴的關系，我們可以知道，圖像是具有局部相關性的，同理，特征層也應該保留這個特性。

下面的圖是經過改進的空洞卷積，在執行dilated rate>1的空洞卷積之前，做了一次核為（2r-1）的分離卷積，卷積的參數共享，經過該層卷積之後，每一個特征點都融合了周圍（2r-1）大小的特征。該操作僅僅增加了(2r-1)(2r-1)大小的參數，卻能有效的解決grid artifacts問題。

2、Gated fusion sub-network

該子網絡主要是融合了不同層次的特征信息，以往的網絡都是直接添加short-cut操作進行信息融合，本文的Gate fusion network 為不同層次的特征分別學習了權重，最後加權得到融合的特征層。

3、network

這篇文章的網絡很簡單，可以看做簡單的三個部分:encoder,feature transfer,decoder.其中feature transfer部分是由若幹個殘差塊組成的，殘差塊的卷積用到的是上面提到的smooth dilated convolution.encoder 第三部分中使用到一次下采樣，相應的decoder中第一部分用到上采樣。

這篇文章用到的損失函數相當的簡單，就是一個簡單的MSE，感覺作者還會就這個議題，再發一篇文章，可以關註一下。

實驗結果：

為了驗證文章提出的兩個結構的有效性，及將BN層改成IN層對該課題是有改進的，文章給出了在SOT indoor數據集上的ablation study .

smoothed dilation 模塊的改進，提升了1PSNR，gated fusion 網絡提升了約0.5PSNR，將BN改成IN也能提升將近1PSNR，從實驗結果來看，文章提出的每個小改進都是很有效的，令人意外的是文章的baseline,竟然有這麽好的效果

這篇文章的結果可以說是相當美麗了，PSNR及SSIM直接是質的飛躍。是一篇值得復現的文章。

視覺效果也還不錯，但是GFN方法的視覺效果其實也是不錯的，猜測是本文的方法恢復的結果，顏色信息更接近GT，所以PSNR更高。

為了驗證本文提出的方法具有通用性，文章給出了在去雨數據集上的實驗結果。這個PSNR結果也是相當美麗，就是有點好奇為什麽不給出SSIM的結果呢？

總結與收獲：

文章中采用的smoothed dilated convolution 及 gated fusion 網絡在大部分圖像復原中應該都能起到不錯的作用。從SE-block之後，可以看出現在大部分工作對特征層的融合方式也有了新的考量，而不是簡單的concat，包括本文的gated fusion也是基於這樣的思想。

論文閱讀筆記《Gated Context Aggregation Network for Image Dehazing and Deraining》WACV19