1. 程式人生 > >《Transform- and multi-domain deep learning for single-frame rapid autofocusing》筆記

《Transform- and multi-domain deep learning for single-frame rapid autofocusing》筆記

作者的快速聚焦方法是使用卷積網路從單個成像圖片中預測圖片的離焦距。之前的聚焦方法大多需要測量多張成像圖片的聚焦值來預測聚焦鏡頭的移動方向和移動距離,但是論文的方法可以直接預測出聚焦位置的方向和距離。

作者使用不同的圖片特徵,包括圖片的空間域特徵、頻域特徵、自相關特徵及其組合。作者探討這幾種特徵對預測圖片的離焦距的影響。雖然不同的離焦距導致成像圖片不同的空間特徵,但是僅僅依賴空間特徵會對聚焦過程產生不好的表現。因此,最好從其他域中(比如頻域)提取離焦特徵。論文的實驗把載玻片成像系統關照條件分成3種:incoherent Kohler illumination, partially coherent illumination with two plane waves, and one-plane-wave illumination。大多數情況下都是使用第一種關照條件。對於incoherent illumination,傅立葉階段頻率直接與離焦距相關聯。類似地,自相關峰值與雙平面波照射的離焦距直接相關。

Archiecture 作者使用的網路架構是ResNet: deep residual network architecture

Trainset 作者從一次聚焦過程中採集一組圖片,在離聚焦位置的-10μm到+10μm的範圍內每隔0.5μm抓取一張圖片,共41張成像圖片,一些訓練樣本如 The three z-stacks for three illumination conditions 從上往下分別表示三種光照條件下的訓練樣本。對於圖(a)中的incoherent照明條件,我們可以看到正離焦方向的影象對比度較高,這可能是由於軸向點擴散函式的不對稱性質,這也是卷積網路可以預測離焦方向的原因。作者選擇最大化Brenner梯度的位置作為 in-focus ground truth。

Experiment 作者設計了3組對比實驗: experiment 實驗a-c只考慮了空間域的特徵,其中a1是在incoherent光照條件下進行實驗,輸入到網路的資料是圖片的RGB三個顏色通道。實驗a2是在Dual-LED光照條件下進行實驗的,因為使用的LED使用綠色光,所以輸入到網路的只有G通道的資料。實驗a3是在Single-LED光照條件下進行實驗的,同樣輸入資料是G通道的資料。

實驗d-e只考慮變換域的特徵。實驗d輸入的資料是在Incoherent光照條件下的傅立葉域特徵,d1是傅立葉幅度通道,d2是傅立葉角通道。實驗e輸入的資料是在Dual-LED光照條件下的自相關特徵。

實驗f-g考慮的特徵是多域的。實驗f在Incoherent光照條件利用空間強度(灰度)通道(f1)、傅立葉幅度通道(f2)和傅立葉角通道(f3)。實驗g在Dual-LED關照條件下利用空間強度通道(g1)、傅立葉幅度通道(g2)和自相關通道(g3)。

Result 作者使用兩種測試資料,一種是與訓練資料同種型別(different samples, same protocol),另外一種是與訓練資料不同型別(different samples, different protocol)。

第一組實驗結果:(a指第一種測試資料型別的實驗結果,b指第二種測試資料的實驗結果,在景深DOF範圍內的點都表示得到清晰圖片) group 1 result

第二組實驗結果: group 2 result

第三組實驗結果: group 3 result

結論: (1)對於incoherent照明條件,2-domain網路具有最佳效能。(2)對於雙LED照明條件,自相關網路和3-domain網路具有相似的效能。自相關網路在型別2樣本上表現更好。(3)通常,用於雙LED照明的網路比用於incoherent照明的網路表現更好。