【影象處理】【去模糊】影象去模糊之初探--Single Image Motion Deblurring
原文：原文地址
曾經很長一段時間， 對影象去模糊都有一種偏見， 認為這是一個灌水的領域， 沒有什麼實用價值，要到這樣的文章，不管是多高的檔次， 直接pass。 最近在調研最近幾年的關於Computational Photography的一些研究熱點時， 發現影象去模糊這個領域非常活躍， 一些效果圖還是蠻有意思的。 於是大概瀏覽了其中的幾篇文章， 慢慢地我的這種偏見也消失了。 當數碼消費電子日益普及的時候， 這項技術確實非常有用。它能挽救相當一批由於曝光時間過長或者拍攝 時手的抖動造成的模糊照片。
影象的模糊按照模糊核的性質來分類可分為： Blind image deconvolution
按照模糊的區域來劃分， 又可分為：全域性模糊和區域性模糊。 全域性的模糊主要是由於拍攝裝置的運動造成的， 而區域性模糊是由於單個物體的 運動造成的。 從實用性來說， 全域性模糊要好於區域性模糊。 理由有三： （1）全域性模糊可以用一個模糊核來恢復， 因此最主要的任務就是PSF的估計， 而區域性模糊的模糊核是隨位置變化的， 難道要大很多，結果也就不穩定很多。（2）造成全域性模糊的原因是手持拍攝裝置在曝光時間比較長的情況下進行拍攝，在拍攝過程中經常能遇到。而區域性模糊僅僅限於對運動物體的拍攝， 比如運動的汽車或者行走中的人， 一般說來， 拍攝這些場景的機會比較有限， 實用性也不大。（3）全域性模糊在絕大部分情況下都是不期望的效果， 而區域性模糊在很多時候是不需要去除的，甚至是刻 意追求的一種效果。
按資訊源分類可分為：單幅影象去模糊和帶輔助資訊的影象去模糊。 單幅影象去模糊顧名思義， 輸入只有一幅影象， 沒有別的任 何資訊。 這也是最常見的去模糊場景。 帶輔助資訊的影象去模糊除了有一幅待出來的影象以外， 還有其他的一些輔助資訊用來估 算模糊核。 這裡的輔助資訊包括：（1）連續兩幀影象 （2）一幀不模糊單噪聲比較大的影象 （3）不同曝光時間的三幅或者n幅圖 像（4）一段低解析度視訊（5）對曝光時間的編碼（6）對鏡頭的改造（7）。。。雖然每一個作者都強調這些輔助裝置比較廉價，輔助資訊比較容易獲得。但對非專業的普通使用者來說， 要得到這些輔助資訊是不大現實的。
綜合這些因素考慮， 我個人認為目前最有實用價值的仍然是single image blind motion deblurring。 這方面， Rob Fergus等在2006 年的siggraph上發表了一篇文章非常有新意，效果也還不錯。 難能可貴的是， 這篇文章留下了很多漏洞， 能讓後人在此基礎上對 這項工作有所完。 果不其然，在隨後幾年的cvpr， siggraph， iccv， eccv上， 幾乎每屆都有更好的結果湧現。這裡主要介紹 2006年的這篇“ Siggraph Removing Camera Shake From a Single Photograph”。
以 往的芒去卷積方法要麼對卷積核有很強的先驗假設， 要麼對影象有一定的先驗假設， 或者兩者都有。 而且， 這些方法往往不大適合較大的模糊核。 Fergus等提出的方法完全拋棄了這些束縛， 實現了真正意義上的實用的BID。 在此文中， 影象去模糊主要被劃分成了兩步：卷積核的估計和去模糊。 其中去模糊可以採用任何一種現有的演算法， 因此此文的重點集中在了模糊核的估計上。 基於對影象模型統計特性的分析， 此文深入研究了模糊影象和非模糊影象的梯度分佈， 提出了一種基於梯度分佈模型的去模糊演算法。自然的清晰的影象滿足特定的heavy-tailed distribution， 而模糊影象的梯度分佈則想去甚遠。 因此Fergus等基於這種特性構造了在已知觀測影象情況下原始影象和模糊核的聯合後驗概率， 後驗概率最大化對應的原始影象和卷 積核的組合就是所要的答案。 然而直接解這個MAP（Maximum a Posterior）問題， 卻得不到正確的答案。 因此作者採用了一種學習的方 法， 即MISKIN和MACKAY,在Ensemble Learning for Blind Image Separation and Deconvolution中提到的方法。這也是作者認為的兩大貢獻。
Fergus在paper和ppt中都給出了一些結果，其實結果都不能完全令人滿意， 有的恢復的效果不夠好， 有的噪聲實在太大。 但作者也說他的paper有不少可改進的地方， 言外之意就是此文只是提出了一種思想， 效果有待完善。 這也讓本文留下了不少可研究的空間， 個人認為有以下三個方面可以改進：（1）影象模型的選擇。梯度模型只是選取了相鄰的兩個點的統計特性， 有點過於簡單。 清晰影象有很大可能滿足作者採用的heavy-tailed distribution， 但滿足這種分佈的一定是效果比較好的清晰影象嗎？ Gibbs效應如何克服？此文並沒有深入研究 （2）MAP演算法的優化 （3）本文采用的R-L這個經典古老的演算法， 肯定有其他更好的演算法能改善影象質量。簡單來說， 就是作者挖了個坑， 自己並不想填， 讓別人慢慢去填。也許不遠的某一天，我也會在這裡填一個坑， Maybe。
下面是我自己蒐集的最近幾年關於deblur的一些論文列表，在網上都可以找到。
2004 PAMI Motion-based motion deblurring
2006 NIPS Blind motion deblurring using image statistics
2006 Siggraph Coded Exposure Photography Motion Deblurring using Fluttered Shutter
2006 Siggraph Removing Camera Shake From a Single Photograph
2007 CVPR Resolving Objects at Higher Resolution from a Single Motion-blurred Image
2007 CVPR Single Image Motion Deblurring Using Transparency
2007 CVPR What makes a good model of natural images
2007 Siggraph Image Deblurring with BlurredNoisy Image Pairs
2008 CVPR ImageVideo Deblurring using a Hybrid Camera
2008 CVPR Motion from Blur
2008 CVPR PSF Estimation using Sharp Edge Prediction
2008 CVPR Roubust Dual Motion Deblurring
2008 Siggraph High-Quality Motion Deblurring From a Single Image
2008 Siggraph Motion-invariant photography
2009 CVPR High-quality curvelet-based motion deblurring using an image pair
2009 CVPR Image Deblurring and Denoising using Color Priors
2009 CVPR Understanding and evaluating blind deconvolution algorithms
2009 ICCP Image Destabilization Programmable Defocus using Lens and Sensor Motion
2009 ICCP What are Good Apertures for Defocus Deblurring
2009 ICCV Time-Constrained Photography
2010 CVPR Deconvolutional Networks
2010 CVPR Denoising vs. Deblurring HDR Imaging Techniques Using Moving Cameras
2010 CVPR Non-uniform Deblurring for Shaken Images
2010 ECCV Single Image Deblurring Using Motion Density Functions
2010 ECCV Two-Phase Kernel Estimation for Robust Motion Deblurring
2010 ICCP Motion blur removal with orthogonal parabolic exposures
2010 Siggraph Image Deblurring using Inertial Measurement Sensors
2010 TPAMI Correction of Spatially Varying Image and Video Motion Blur Using a Hybrid Camera
輸入影象:
輸出影象：
