1. 程式人生 > >【影象處理】【影象去模糊】 總結

【影象處理】【影象去模糊】 總結

本人最近由於做相關去卷積工作,查閱了上百篇文獻,發現在這個領域,可能也是‘水太深’了,並沒有一篇較好的綜述,現在做以下總結----

只對高斯與散焦模糊的非盲去卷積領域,對於運動模糊並未做總結,但實際上除了點擴散函式的估計有區別,實際上這三類去模糊甚至和去噪,損失函式模型都可以通用。

這裡對於只做一家之言,如有反對意見請留言指正:

去模糊歷史:

1.1970-1990年代用於航天天文領域(Astronaut field);

2.1990-2010年代用於自然圖片處理(運動模糊/相機PSF模糊/噪聲影響);

3.2010---年代,用於生物成像領域。

到現在為止,無論是否做去卷積領域工作的人,都喜歡在表徵結果的時候加一步去卷積步驟,以提升影象解析度和對比度,使影象易於分析與美觀。

綜述(模型未統一請見諒):

去卷積領域的水尤其深,對於運動模糊/PSF模糊/噪聲/不同成像領域,用法都不盡相同,現只總結在PSF模糊的非相干成像領域的去卷積方法。

實際上只有三種最具有代表性、用的最廣的模式,至於其他則是他們的變體:

成像模型:y =Hx + n

其中H為PSF矩陣,x為目標(object),n為加性噪聲。

1.Wiener逆濾波

雖然wiener去卷積方法很簡單實用,但有時候效果並不好,N往往都是未知量,但由於簡單和經典,將其也列在這裡,但其實他的變體並不多。

2.Lucy-Richardson(LR)迭代去卷積

1972年Lucy提出的一種基於貝葉斯理論的,現在用處最廣最頻繁,並且變體最多的一種迭代去卷積方式,由於單純逆濾波問題的侷限性,現在幾乎所有的去卷積工作者都利用類似正則化的先驗手段,將去卷積問題轉化為損失函式,加入正則化懲罰項,類似人工智慧的手段,不斷迭代尋優,以此達到良好去卷積結果。

LR去卷積假設其符合泊松分佈(實際上就是相機接收光子的過程),這是所有成像系統幾乎都符合的規則,所以article裡多數都是LR的‘忠實粉絲’。利用最大似然估計,得出似然函式,對似然函式-log之後求解最小值的過程,一般採用的最優化方法為EM方法。

實際上很簡單:也就是這一模型建立以後:y =K卷積I ,還有一步,即Image=Possion(y)。其假設我們獲取得到的影象也就是Image是這一概率分佈,則具體方式:

3.基於最小化誤差的方法:

可以利用最小二乘以及Landweber迭代法。實際上,3某種程度上也是最大似然估計的一種,在假設影象符合高斯分佈的同時,似然函式-log後做近似,可退化成這種模式。

-----------------------------------------------我是分割線------------------------------------------------------------------

加入正則化

插一句:實際上所有迭代演算法都要在放大噪聲及去卷積結果作為權衡來選擇,迭代次數也是一種偽正則手段。

下面說說他們的各種變體:由於影象某種特殊的先驗知識,可以對去卷積的損失函式加入懲罰項正則,以約束迭代結果,往往都很成功。首先介紹可以加在2上---LR去卷積,又可以加在3---2範數最小化誤差去卷積上的正則法:

1.Tihkonov regularization(TR)

可以看到,這是以3為基礎的正則,當然也可以用於2中,這裡只做一個說明。有兩種形式,一種單純加入x的2範數做為正則,一種加入Tihkonov矩陣(小波矩陣)C×object,後者通常是高通濾波器,如拉普拉斯濾波器,但在沒有進一步先驗知識的情況下,可以選擇為單位矩陣。這是加入原始影象平滑的先驗知識,但是難免造成邊緣模糊,(利用小波稀疏的特性抑制。),實際上TR正則在機器學習領域應用也很廣。

2.Total Variance (TV正則)

加入的其實是x的一階偏導數的L1範數正則化,可以很好地保留邊緣資訊。,為了公平,TV正則是LR+TV正則。

3.L1正則

加入L1為正則,以3為基礎,由於L1矩陣可以造成結果的稀疏性,可以很好地抑制背景噪聲,但注意係數不要過大,會過度濾除一些資訊。

4.小波正則

依舊利用了小波的稀疏性。

5.以上幾種正則為基礎的各種混合模型。

下面說幾個去卷積的最新進展:

1.發表在PNAS上:ER-Decon

2013:High-resolution restoration of 3D structures from widefield images with extreme low signal-to-noise-ratio

利用熵正則,使極低解析度情況下影象可以得到很好去卷積效果

Huygens是專業去卷積軟體,Deconvlab2是EPFL,BIG課題組提供的FIJI去卷積外掛。

損失函式:h為PSF,g為目標,f為影象。

2.Nature Biotechnology(Hessian regularization)

2018:Fast, long-term, super-resolution imaging with Hessian structured illumination microscopy

wiener去卷積後得到SIM重建影象g,再對其重建:

3.Nature methods(類似TR正則):

2007:High-resolution threedimensional imaging of large specimens with lightsheet–based microscopy

實際上學習的是TR正則法。