影象解析度的概念

影象解析度泛指成像或顯示系統對細節的分辨能力，代表影象中儲存的資訊量。
指影象中儲存的資訊量，是每英寸影象內有多少個畫素點，解析度的單位為PPI(Pixels Per Inch)，通常叫做：畫素每英寸。
圖片的大小由畫素的多少決定，解析度是單位密度，同量畫素圖片的解析度越高，面積越小。
一般情況下，影象解析度越高，影象中包含的細節越多，資訊量也越大。影象解析度分為空間解析度和時間解析度。通常，解析度被表示成每一個方向上的畫素數量，例如64*64的二維影象。但是，解析度的高低並不等同於畫素數量的多少，例如一個通過插值放大了5倍的影象並不表示它包含的細節增加了多少。影象超解析度重建關注的是恢復影象中丟失的細節，即高頻資訊。

超分辨問題的分類

超解析度影象重建 (Super resolution image reconstruction, SRIR 或 SR) 是指用訊號處理和影象處理的方法,通過軟體演算法的方式將已有的低解析度 (Low-resolution, LR) 影象轉換成高解析度(High-resolution, HR)影象的技術

概括而言,按演算法的輸入輸出的不同型別組合,超解析度問題可以分為幾類子問題,見圖1.輸入為低解析度影象序列(視訊),輸出為單幀高解析度影象的超解析度問題,稱為基於重建的超解析度問題(Reconstruction-based super-resolution);輸入與輸出均為影象序列(視訊)的超解析度問題,稱為視訊超解析度問題(Video super-resolution);輸入與輸出均為單幀影象的超解析度問題,稱為單幀影象超解析度問題(Single image super resolution,SISR).根據是否依賴訓練樣本,超解析度問題又可以分為增強邊緣的超解析度問題(Edge-focused super-resolution) (無訓練樣本)與基於學習的超解析度問題(Learning-based superresolution) (有訓練樣本)兩種.對於輸入為單幀低解析度影象,輸出為影象序列 (視訊)的問題,由於其缺失的資訊太多,研究的實際意義不大,幾乎沒有相關的研究。

單幅影象的超分辨

基於學習的單幀超解析度問題是近年來研究的一個熱點,又稱為影象幻感 (Image hallucination)或基於樣例(Example-based) 的超解析度, 它通過機器學習方法從訓練樣本集中提取所需的高頻資訊模型,從而對未知測試樣本的所需資訊進行預測,達到提高影象解析度的目的, 參見圖 5. 大部分的基於學習的超解析度方法都是基於分塊(Patch-based)的,目標影象平面被分成小的影象塊, 通過計算求取低解析度影象塊所對應的高解析度影象塊.

基於學習的超解析度演算法相關的核心問題主要有兩個部分: 演算法模型的建立和訓練集合的選取.
歷史上採用的超分辨的演算法：最近鄰搜尋-馬爾科夫隨機場 (MRF)-鄰域嵌入
近幾年：
稀疏表達

將基於學習的超解析度問題看作一個迴歸問題,用稀疏迴歸(Sparse regression) 技術進行快速的迴歸計算
Kim K I, Kwon Y. Single-image super-resolution using sparse regression and natural image prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010,
32(6)

提出從訓練樣本集中學習得到一個更有效的字典(Dictionary).具有解析度無關性的影象表達(Resolution-invariant image representation, RIIR)[67]被應用於快速的多級超解析度影象重建任務
Yang J C, Wright J, Huang T S, Ma Y. Image superresolution via sparse representation.IEEE Transactions on Image Processing, 2010,19(11): 2861−2873
Wang J J, Zhu S H, Gong Y H. Resolution enhancement based on learning the sparse association of image patches. Pattern Recognition Letters, 2010, 31(1): 1−10

專門對人臉影象進行基於學習的超解析度重建的方法也是一個相關的研究熱點（能不能專門對遙感影象進行基於學習的超分辨？）
Liu C, Shum H Y, Freeman W T. Face hallucination: theory and practice.International Journal of Computer Vision, 2007,75(1): 115−134
Zhang W, Cham W K. Learning-based face hallucination in dct domain. In: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Anchorage, AK: IEEE, 2008. 1−8

將增強邊緣的超解析度與基於學習的超解析度相結合,使重建的影象結果既包含較好的紋理結節,又有較清晰的邊緣輪廓.
Sun J, Zhu J J, Tappen M F. Context-constrained hallucination for image super-resolution. In: Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA: IEEE, 2010. 231−238
Tai Y W, Liu S C, Brown M S, Lin S. Super resolution using edge prior and single image detail synthesis. In: Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA: IEEE, 2010. 2400−2407

目前超分辨的論文：
香港中文大學湯曉鷗教授實驗室的SRCNN超分辨演算法，正在研究相關論文，還有其他的還需再查相關文獻。還有一種基於生成對抗網路的超分辨GAN是一個點，抽時間要看看。

參考：