Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Sy
Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections
作者：Xiao-Jiao Mao、Chunhua Shen等
本文提出了一個深度的全卷積編碼-解碼框架來解決去噪和超分辨之類的影象修復問題。網路由多層的卷積和反捲積組成，學習一個從受損影象到原始影象的端到端的對映。卷積層負責特徵提取，捕獲影象內容的抽象資訊，同時消除噪聲/損失。相對應，反捲積層用來恢復影象細節。
網路結構
在底層影象修復領域，由於池化操作會丟失有用的影象細節資訊，因此，本網路沒有用到池化層，是一個全卷積的網路結構。
卷積層的特徵圖和與之相應成映象關係的反捲積層特徵圖進行跳躍連線，對應畫素直接相加後經過非線性啟用層然後傳入下一層。
受 VGG 模型的啟發，卷積核大小都設定為為 3*3。另外，由於網路結構本質上是一個畫素級的預測，因此輸入可以是任意大小的圖片，輸出和輸入保持一致。
反捲積解碼器
在全卷積的情況下，噪聲一步步地被消除。經過每一個卷積層後，噪聲等級減小，影象內容的細節也可能會隨之丟失。在本篇論文提出的結構中，卷積層保留了主要的影象內容，而反捲積層則用來補償細節資訊，可以達到良好去噪效果的同時較好地保留影象內容。
另一方面，卷積層逐漸減小特徵圖的大小，反捲積層再逐漸增大特徵圖的大小，最終確保輸入輸出大小一致，也可以保證在移動端計算能力有限情況下的測試效率。
跳躍連線
正如殘差網路的設計初衷，跳躍連線可以解決網路層數較深的情況下梯度消失的問題，同時有助於梯度的反向傳播，加快訓練過程。
通過傳遞卷積層的特徵圖到反捲積層，有助於解碼器擁有更多影象細節資訊，從而恢復出更好的乾淨影象。
針對輸入噪聲影象 X 和輸出乾淨影象 Y，本網路致力於學習一個殘差即 F(X) = Y - X。
討論
實驗 (a) 對比有無跳躍連線情況下 PSNR 隨迭代次數的變化，可以看到有跳躍連線的情況下 PSNR 有顯著提高。
實驗 (b) 對比不同網路結構下 Loss 值隨迭代次數的變化，可以看到在同等層數的網路下，有跳躍連線時 Loss 值相對要小很多。
實驗 (c) 對比一般的殘差網路(由一系列的殘差塊組成)和本文提出的網路情況下 PSNR 隨迭代次數的變化，可以看到本文中提出的這種跳躍連線方式可以獲得更好的 PSNR。
網路的大容量使得本文提出的結構能夠處理不同噪聲等級的影象去噪問題和不同尺寸引數的超分辨問題。
實驗
因為本網路的卷積核僅僅是為了消除噪聲，因此對影象內容的方向不敏感。所以，在測試的時候，我們可以旋轉或者映象翻轉卷積核進行多次前向傳播，然後對多次的輸出取平均從而得到一個更平滑的結果。
影象去噪的實驗結果對比
影象超分辨的實驗結果對比
可以看到，RED-20, 10 層卷積 10 層反捲積的情況下已經取得了比傳統方法好的效果，而且加深網路之後還可以取得更好的效果。
噪聲等級越大，本文中提出的網路比其他網路的提高幅度就越大，也就是優勢越明顯。
微信關注「seniusen」，獲取更多精彩!