1. 程式人生 > >文獻閱讀001

文獻閱讀001

cvpr gid tran 分享 fontsize sin eth fcm nts

文獻題目如下:

[1] 2002 ICIP Face photo recognition using sketch
[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition
[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis

本周剛入實驗室,粗略地閱讀張老師推薦的三篇論文,了解一下研究方向。

  1. 大方向:人臉識別(face recognition)
  2. 小方向:基於素描圖像的方法(based on sketch)

背景
以往人臉識別都是基於原始圖片(based on photo)識別,但當要識別一個嫌疑犯,而又沒有照片時只能用根據目擊者描述畫出素描畫像(sketch)代替。因此需要將拍攝到的原始圖片轉換為素描圖片,再與素描圖庫對比檢索

論文主要內容

[1] 2002 ICIP Face photo recognition using sketch

  1. 提取人臉特征的傳統方法(Conventional eigenface method):KLT
  2. 基於素描的方法(Eigensketch transformation)

[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition

該論文分為兩大工作:轉換識別

  1. 轉換:該論文是基於LLE方法,用 photo-sketch pair 訓練集訓練出來的模型(P) 自動生成 pseudo-sketch。
  2. 識別:由於畫家畫的素描難免有偏差,以及pseudo-sketch會有模糊,因此用KNDA方法。

問題:LLE,linear v.s nonlinear 等知識點還未了解。

[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis

Data-driven:
data-driven 是在模塊水平(patch level)進行訓練的,模型包括兩個:Neighbor Selection Model, Neighbor Fusion Model(如下圖)
作者列舉了許多data-driven 的方法,說明了其劣勢所在:在選擇Neighbor Selection Model 時要遍歷整個training photo-sketch pairs, 耗時太大。
技術分享圖片

問題:patch division是怎麽完成的?——partition mask(如下圖)

Model driven:
訓練:將photo-sketch pairs 分成許多patches,訓練出許多Mapping functions.
測試:將photo分成許多patches,用訓練出的Mapping functions生成對應的sketch。
技術分享圖片

只是初步了解一下方向,具體的原理,公式,算法還沒有深入了解。閱讀中遇到一些不懂的知識點直接跳過,如rigid regression, LLE, KNDA等等。後面會對每一篇再做進一步的閱讀和總結。

文獻閱讀001