論文筆記：Deep Image Prior
論文筆記：Deep Image Prior
論文資訊：
論文及程式碼：
https://dmitryulyanov.github.io/deep_image_prior
Abstract
深度卷積神經網路能夠很好處理影象生成，和修復任務，其主要的優勢在於模型對於大量的資料樣本集進行訓練，使得模型能夠學習到這些資料的先驗資訊，從而在對於影象處理的時候表現優異。但是本文發現，實際中生成網路能夠在模型學習之前就能有效掌握大量low-level的影象統計學資訊。證明的實驗是，利用一個隨機初始化的神經網路就可以作為一個“人工先驗”，可以直接應用在影象去噪，超分辨，影象修復等任務中。
除了多樣的應用之外，我們的方法強調標準生成網路獲得的歸納偏差（the inductive bias）。它在基於深度CNN的學習方法和基於手動設計影象先驗（如自相似性）的非學習方法之間建立了橋樑。
1. Introduction
最近，深CNN網路用於影象重建問題，例如：去噪、SISR。另外，還用於解決通過activations或HOG descriptor來重建影象的問題。更普遍地，CNN用於生成影象，例如：generative adversarial networks（對抗生成網路） [11], variational autoencoders [16], and direct pixelwise error minimization [9, 3]。
目前在影象復原，影象生成任務中表現優異的卷積神經網路都是使用大量的資料集進行訓練，以往通常的解釋是，網路能夠學到資料的先驗資訊。但是這種學習能力不能單一解釋深度網路的有效性。作者從《Understanding deep learning requires rethinking generalization》中得到靈感，在該論文中C. Zhang等人用在一個訓練集上表現很好的網路結構去基於另一個label都是隨機給定的資料集上進行訓練，發現居然出現了過擬合的現象。所以不能簡單的將模型的效能歸功於大量影象資料本身的資訊。本文認為，還有網路結構本身的作用沒有分析清楚。
本文認為，影象的統計學資訊是通過卷積影象生成器而不是網路學習得到的。
本文使用未被訓練的cnn網路（其中的權重都是隨機初始化的），然後資料上只需要輸入一張被損壞的圖片。在這個過程中，網路的權重扮演著影象恢復時候所需要的引數：即給定一個隨機初始化的網路，然後基於給定的受損圖片和任務依賴的觀測模型，通過迭代使得模型引數逼近最大似然。
所以唯一需要的資訊就是單幅退化圖和用於重建的網路的手工設計的特徵。
作者發現這種構想是更加卓越的方法，因為網路沒有對於資料進行過訓練；由於網路權重是隨機的，所以唯一的先驗資訊是來自網路結構本身。這種思路在之前是沒有被提出過的。
本文認為，可以用生成網路本身取替代設計的 natural prior，比如TV項。
2. Method
CNN對自然影象訊號阻抗低，對噪聲阻抗大。
3. Applications
文章在實驗過程中發現，使用MSE損失，模型對於純0/1噪聲以及完成影象將畫素點隨機打亂後的影象進行收斂很難，而完整影象疊加噪聲以及完整影象不加噪聲的資料能夠更容易收斂。
通過這樣的研究意味著，限定模型的訓練迭代次數之後，可以將影象任務優先完成，而隨機噪聲等就會在未收斂時被去除，從而達到去噪的任務。
通過這樣的思想，作者發現在生成模型訓練很久之後，模型F可以生成和X一致分佈的影象X~；而在訓練中進行迭代次數限制之後，可以讓模型輸出修復的影象X^；
這樣的實驗說明了生成網路有一種能力，能夠先學會影象X中沒有被破壞的部分，然後再學習被破壞部分的優化。例如，會學習如何複製一張沒有噪聲的影象，然後再去複製這些噪聲點。
這種不需要對於預修復資料集進行訓練的方法能夠實現模型的轉化任務，並且對比與專一的轉化模型方法，如去噪的CBM3D，超分辨的SRResNet，LapSRN，影象Inpainting的Globally and locally consistent image completion等方法，這種模型思想更加簡單而且通用性強，網路引數也可能會少一些（我個人的看法），儘管模型還沒有達到上述模型那麼高的處理效能，但是模型也是有不錯的處理效果。