影象超分辨之ZSSR
阿新 • • 發佈：2019-01-11
論文：“Zero-Shot” Super-Resolution using Deep Internal Learning
Github：https://github.com/assafshocher/ZSSR
主頁：http://www.wisdom.weizmann.ac.il/~vision/zssr/
cvpr 2018
主要貢獻：
- 本文的ZSSR是第一個基於非監督的基於神經網路的超分方法。
- ZSSR可以處理多種非理想情況下的圖片（老舊歷史照片，手機拍攝照片，網際網路網路照片），並且支援各種各樣的圖片大小和型別。
- ZSSR不需要進行預訓練，並且消耗的計算資源也有限
- 支援任何大小，任何長寬比尺度的圖片超分
- 可以適用於已知和未知的圖片情況
- 相比其他基於預訓練的方法，在理想情況下，ZSSR可以取得相當的結果，在非理想情況會取得比預訓練方法更好的結果。
內部圖片的重要性：
內部圖片是指從一張大圖隨機crop出固定大小的訓練小圖。使用內部圖片訓練的交叉熵損失比使用外部圖片訓練的交叉熵損失要小。內部圖片可以比外部圖片提供更多的細節資訊。
整體流程:
Externally-supervised SR :
先使用外部訓練集進行訓練，然後根據輸入圖片進行測試。
ZSSR ：
先將測試圖片縮小scale倍進行訓練，待網路收斂，再將測試圖片輸入，得到放大scale倍的超分輸出。
網路結構：
程式的實現和論文還是有點出入，網路結構為全卷積網路，最後一層沒有relu，所有channel數都是64保持不變，輸入和輸出大小一樣。
訓練過程中先使用原始圖片下采樣的圖片+噪聲和資料增強（旋轉((0◦; 90◦; 180◦; 270◦) )+flip(vertical,horizontal )）等進行訓練，測試的時候，先使用程式中的imresize將圖片擴大為需要最終輸出的大小，再輸入網路輸出超分後結果。
實驗結果：
強烈內部感受野結構的情況：
理想情況：
非理想情況：
總結：
（1）第一個超分領域的非預訓練方法，訓練加測試每張圖片的平均時間為54秒（K80 GPU）。
（2）ZSSR方法在非理想情況下，效果優於VDSR ，EDSR+ 。在理想情況下，效果優於SRCNN，SelfExSR，但是相比VDSR ，EDSR+，效果要差點。