1. 程式人生 > >Deep Feature Interpolation for Image Content Changes(基於深度特徵插值的影象屬性轉換方法)

Deep Feature Interpolation for Image Content Changes(基於深度特徵插值的影象屬性轉換方法)

引言:

我們提供了一種基於深度特徵插值的方法,一種線性資料驅動的自動化高維空間轉換的方法,就如名字所說的,DFI僅僅基於使用經過預訓練的深度卷積特徵簡單的線性插值。我們發現雖然其方法比較簡單,但是DFI能夠顯示高水準的風格轉換例如在“臉部年輕化和衰老轉化”,“戴眼鏡”,“新增微笑”,和其他方式,效果極其好,甚至有些尤其好基本達到了藝術家的水平。這是非常想不到的結果,因為DFI不需要構建特別的網路甚至無需使用任何訓練網路。DFI因此能夠被認為是一個新的基準線去檢測更多的複雜演算法和提供一種特別的答案去解釋一個在使用深度學習之後哪種圖片轉化任務依舊具有挑戰性的問題。

3.深度特徵插值:

在我們的設定中,我們提供了一組測試影象 x 用於轉變成為可信的時尚圖片。例如,一個沒有鬍鬚的人的圖片,我們希望通過新增頭髮的方法修改圖片,並且保留此人的原始資訊。我們另外獲取一組目標圖片,帶有目標屬性。S t = {x t 1 , ..., x tn }(e.g.,帶有鬍鬚的人)和一組原始圖片,另外,我們需要獲取一個經過預先訓練的預測網路,該網路是在足夠豐富的物件分類任務上進行訓練的,例如,一個在ImagetNet中訓練的VGG16網路,我們可以使用這個卷積網路去獲取一個圖片的新的顯示,例如我們希望轉化x → φ(x)。向量x包含一系列有卷積神經網路應用於圖片x中產生的一系列連續性啟用,我們認為向量x是x在深度特徵空間中的顯示。

深度特徵插值

深度特徵插值能夠被總結成為4個高維空間環節:

1.我們將原始影象和目標影象在使預訓練模型的深度特徵空間中的影象集合St和Ss進行捕獲

2.我們為每一組圖片計算平均特徵值,φt和φs,並且設定他們之間的區別認為是二者的特徵向量,w = φt - φs

3.我們將測試圖片轉化成為深度特徵空間的向量x並且單獨轉變通過使用向量w,結果為φ(x) + φ(w)

4.我們能夠重建轉移的輸出圖片通過將轉換向量z到φ(z) = φ(x) + αw.

雖然這個產品或許顯得非常的簡單,我們在圖中證明這個方法具有很大的能力。下面我們將介紹一些非常重要的細節去使我們的工作可以復現:

選擇 St 和 Ss:

DFI假設屬性向量儲存目標的轉換資訊,它指向x的具有目標屬性轉換的深度特徵資訊。如果例如影象z是1可以獲得的,我們可以計算 w = φ(z) - φ(x) 去分離出確切的區別通過屬性的改變。由於缺少確切的目標圖片,我們通過使用目標資料集和原始資料集進行w的估計。因而兩個資料集之間的內容需要經可能的相似,並且需要兩者之間沒有系統下的屬性變化在兩個資料集之間。比如,舉個例子,所有目標資料集都是較為年長的人,二原始資料集都是年輕的個體,那麼向量w將會無意中獲取年齡之間的變化。並且,如果兩個資料集與測試圖片都有很大的區別,那麼轉化的圖片將很難保證轉化圖片的原有屬性不變。為了確保具有足夠的相似度,我們限制 St 和Ss 到x的K個最近鄰居,讓Nt,k給予K個最近鄰居:

這些鄰居可以通過兩種方法進行選擇,主要基於可獲取資訊的總數。當屬性區域是可以獲取的,我們發現最近的圖片通過計算匹配屬性的數量。當屬性區域是不可以獲取的,或者作為一個第二選擇標準,我們選擇最近鄰居通過深度特徵空間的餘弦函式。