前言

影象和視訊通常包含著大量的視覺資訊，且視覺資訊本身具有直觀高效的描述能力，所以隨著資訊科技的高速發展，影象和視訊的應用逐漸遍佈人類社會的各個領域。近些年來，在計算機 影象處理、計算機視覺和機器學習等 領域中，來自工業界和學術界的許多學者和專家都持續關注著視訊影象的超解析度技術這個基礎熱點問題。

本文試著講述超解析度技術的正確開啟方式，淺談視訊影象的超解析度技術的基本概念和應用場景等問題。

什麼是超解析度

2.1 超解析度初體驗
簡單來講，影象超解析度就是提高影象的空間解析度，例如將一 幅圖片的解析度由352x288擴大到704x576.方便使用者在大尺寸的顯示裝置上觀看。影象的超解析度，是影象處理相關問題中的基礎問題之一，並具有廣泛的實際需求和應用場景，在數字成像技術，視訊編碼通訊技術，深空衛星遙感技術，目標識別分析技術和醫學影像分析技術等方面，視訊影象超解析度技術都能夠應對顯示裝置解析度大於影象源解析度的問題。

簡單來說超解析度技術可以分為以下兩種：

1. 只參考當前低解析度影象，不依賴其他相關影象的超解析度技術，稱之為單幅影象的超解析度（single image super resolution），也可以稱之為影象插值（image interpolation）
2. 參考多幅影象或多個視訊幀的超解析度技術，稱之為多幀視訊/多圖的超解析度（multi-frame super resolution）
   
   2.2超解析度理論描述
   這個很直觀的超解析度問題，它的理論描述如下圖所示，超解析度就是講坐圖中的畫素點之間的空間位置用畫素點進行填充，是的整個影象具有更多的畫素點，更豐富的細節，從訊號的角度將就是補充出更多的高頻成分。

通常在處理這個超解析度問題的時候，我們常常探索這個退化訊號是如何從我們希望的理想訊號變化得到（即解析度的退化過程），如果對退化過程進行精確的描述，往往對其逆問題求解有重要的意義。

在本文的問題中，即超解析度的退化模型，可以通過以下公式來描述：
$Y=HDX$

+ n Y=HDX+n
其中Y為低解析度的視訊幀/影象，X為我們理想高解析度的視訊幀/影象，而H和D分別為模糊運算元和解析度下采樣運算元，n為退化過程中產生的噪聲。
由上述公式可知該退化問題存在著病構特性，即多個不同的高解析度影象X，經過相同的退化過程處理，可以得到同樣的低解析度影象Y。這就導致我們無法直接通過Y求解出一個精確的X，也是視訊影象超解析度問題一直是一個開放性的問題的原因（逐漸逼近符合人眼視覺認識的解）。

根據影象超解析度的技術路線進行分類，影象超解析度技術大致可以分為以下幾類：

• 基於定引數的線性濾波器技術
• 基於影象邊緣結構的技術
• 基於影象重構約束的技術
• 基於機器學習的技術

什麼時候用超解析度

先舉一個小李子，一張悠久經典的低解析度老照片，怎麼在一個先進的高清顯示器上播放？這就是低解析度圖片和高解析度顯示裝置之間的不匹配。很明顯，這個場景下我們可以使用超解析度技術，如下圖所示。

單從影象的後處理顯示的角度來講，目前在PC和手機的螢幕顯示功能上都配有相應的實時的超解析度技術。

通過觀察可知，PC機的超解析度技術相對比較簡單（比如，臨近畫素賦值、雙線性插值），而手機端螢幕的超解析度技術比PC機顯示的超解析度技術的效能要更好一點，能夠提高較好的主觀視覺質量，且IOS系統的手機的超解析度技術相比於一些Andriod系統手機的超解析度技術性格更高一些。不同的超解析度演算法帶來的增強視覺感受的效果不同，一些軟體的超解析度方法在帶來更好的視覺質量的同時，也引入了很大的計算代價，不斷挑戰著顯示裝置的計算能力。

超解析度能節省頻寬嗎

在傳輸影象的時候，超解析度和頻寬有什麼關係呢？

一般來講，現在的通訊類應用中，圖片都是需要經過壓縮、傳輸，再解壓縮這樣的一系列過程：

• 最直接的方案A是按照原解析度和現有頻寬來進行壓縮和傳輸，最終直接顯示；
• 另一種方案B是先通過下采樣的方法將原視訊影象的解析度下采樣為原解析度的1/K，然後在低解析度和現有頻寬下進行壓縮和傳輸，接收端在解碼後通過超解析度技術將該視訊影象的解析度以K倍重建後顯示。
  如下圖所示：
  
  這裡，超解析度技術就不單單是一個視訊影象的後處理技術，而是基於上下采樣的編碼傳輸框架中的一個重要環節。這種下采樣-超解析度的圖片傳輸方案B能夠節省頻寬嗎？（最終的圖片視覺質量一致的前提下），或者說是在相同的頻寬限制下，直接壓縮傳輸大圖片和壓縮小圖片再超解析度顯示，哪一種方案對顯示的主觀質量更好？

由於在這個場景下兩個方案之間不能直觀的從理論上比較，所以我們通過實驗來進行說明，設計了以下實驗：

原圖壓縮方案A，即原始高解析度影象直接通過編碼器進行壓縮和傳輸，在解碼端直接得到原始解析度的重構影象。基於上下采樣的影象壓縮方案B，即影象首先經過一個解析度下采樣（寬高均為1/2倍）的預處理方法，再將得到的低解析度影象利用相同的第三方的編解碼器WebP進行壓縮和傳輸，最後將在解碼端得到的低解析度影象利用超解析度技術重建出其高解析度的圖片（這裡超解析度技術選用Google在G+上的方案和一種經典的深度網路SCN方法）。

下面我們給出兩個不同策略下的影象壓縮（圖片質量和檔案大小）效能比較，如下圖所示：

如圖（a）和（b）兩幅影象的效能比較所示，影象縱座標為影象全參考的視覺質量評價方法SSIM指標（用來比較相同解析度下的原圖和在對端最終顯示的影象的差異），橫座標為影象經過第三方編碼器WebP的壓縮碼流所佔用的儲存空間（KB），上下采樣壓縮曲線的四個資料點對應WebP質量因子分別為40,60,80,100，而原圖 壓縮的四個資料點對應WebP的質量因子分別是2,5,15,60

實驗中首先驗證得到兩個認識：

• 一個是隨著位元速率（頻寬）增加，直接壓縮傳輸的方案A能快速達到近無失真壓縮或無失真壓縮；
• 另一個是隨著位元速率（頻寬）增加，超解析度的方案B具有效能上限的限制，接近上限時，增加位元速率就只會帶來非常微弱的視覺效能的提升；

再通過實驗曲線可以得出，在低位元速率範圍內，採用原圖壓縮方案的壓縮效率要低於基於取樣的影象編碼策略（即同等質量下，基於取樣的影象編碼策略圖片檔案更小，節省頻寬），而在中高位元速率範圍內，採用原圖壓縮方案的壓縮效率要優於基於取樣的影象壓縮方案（即同等質量下，超解析度的影象編碼策略的圖片檔案更大，浪費頻寬）。

進而我們結合應用環境得出以下結論：

• 在頻寬嚴重受限的情況下，使用超解析度技術能夠改善其原本較差的視覺質量（即超解析度技術在同等質量下節省傳輸頻寬）；
• 在頻寬良好的情況下，原圖解析度直接壓縮傳輸的方案能夠提供更好的視覺質量（即超解析度技術在同等質量下浪費傳輸頻寬和後處理計算資源）；

目前，在常見的一些視訊影象的應用中，我們給定的位元速率均為中高位元速率以滿足影象視訊的視覺質量，大部分移動終端上的視訊影象應用的方案均為在目標解析度上直接壓縮，質量控制在高於WebP質量因子為60的水平，如實驗中驗證的一樣，在這個位元速率範圍下，採用現有的直接壓縮原圖方案A要優於下采樣壓縮低解析度影象再做解壓做超解析度的方案B。

本文小結

視訊 影象超解析度技術，是影象處理相關問題中的基礎問題之一，也是近年來學術界研究的熱點問題。

視訊影象超解析度技術作為影象的後處理技術能為了匹配更大解析度的顯示裝置提升影象的主觀視覺效果。在壓縮傳輸的應用場景中，為了在同等頻寬下獲得更高的影象質量，超解析度演算法適用於低頻寬時低質量影象上的增強，在頻寬充足時仍然應該傳輸高解析度影象，即下采樣-超解析度的技術，受限於其效能上限，僅僅在低位元速率傳輸條件下，採用超解析度增強的影象質量明顯優於在大影象上直接編碼（即同等質量節省頻寬）。

綜上所述，視訊影象超解析度技術在應用中要考慮計算複雜性限制，傳輸頻寬的限制和視覺效能上限（主觀視覺效果）等因素，來選擇恰當的應用場景。