1. 程式人生 > >【文章閱讀】【超解像】--Image Super-Resolution via Deep Recursive Residual Network

【文章閱讀】【超解像】--Image Super-Resolution via Deep Recursive Residual Network

【文章閱讀】【超解像】–Image Super-Resolution via Deep Recursive Residual Network

論文連結:http://cvlab.cse.msu.edu/pdfs/Tai_Yang_Liu_CVPR2017.pdf

caffe code:https://github.com/tyshiwo/DRRN_CVPR17

TensorFlow code: https://github.com/LoSealL/VideoSuperResolution

pytorch code: https://github.com/jt827859032/DRRN-pytorch

1.主要貢獻

​ 提出一種遞迴殘差網路結構,在增加網路層數的基礎上,可使網路引數少,網路效能優。

​ a) 多通路殘差網路結構

​ b)遞迴網路結構
在這裡插入圖片描述

​ 網路結構:

​ 說明:B表示遞迴網路網路結構個數,U表示遞迴網路結構中殘差單元個數(後續有講解)總的網路層數為: d = ( 1 +

2 × U ) × B + 1 d=(1+2\times U) \times B + 1

在這裡插入圖片描述

2.論文分析

a) 網路結構

​ 該結構在Resnet,VDSR,DRCN的結構基礎之上改進而來。

​ 下圖d中,紅色虛線框表示遞迴單元,包含兩個殘差單元
在這裡插入圖片描述

​ 不同的殘差單網路結構:
在這裡插入圖片描述
b) 不同模型的網路數學策略(具體公式含義參考論文)
在這裡插入圖片描述
c) 損失函式
L ( Θ ) = 1 2 N i = 1 N x ~ ( i ) D ( x ( i ) ) 2 L(\Theta)=\frac{1}{2N}\sum_{i=1}^N\|\widetilde{x}^{(i)}-D(x^{(i)})\|^2
d) 實驗細節

​ 資料增強:影象翻轉,旋轉(90°、180°、270°),旋轉後的影象水平翻轉,資料量增加7倍,運用不同的放大倍數影象進行同一個模型訓練,訓練影象大小為31x31。

​ 訓練策略:SGD min-batch 128, momentum 0.9,初始學習率為0.1,每10輪學習率下降一半,同時使用梯度自動裁切技術。

​ 卷積核相關:卷積核大小為3x3,個數為128

3.結果分析

​ 利用52層的網路結構,利用遞殘差網路結構有兩種實現方式:B1U25(k=297K), B17U1(k=7375K)(k表示引數數量),與其他模型的比較結果如下PSNR和SSIM:
在這裡插入圖片描述

本文還利用了一種資訊保真度(Information Fidelity Criterion IFC )的評價指標(後續研究):
在這裡插入圖片描述

還有一些主觀的評價:

在這裡插入圖片描述
最後作者比較了傳統方法,非傳統方法,淺層網路結構和深層網路結構的特性,目的為說明本模型好。

論文個人理解,如有問題,煩請指正,謝謝!