推薦演算法之FFM：原理及實現簡介

推薦系統一般可以分成兩個模組，檢索和排序。比如對於電影推薦，檢索模組會針對使用者生成一個推薦電影列表，而排序模組則負責對這個電影列表根據使用者的興趣做排序。當把FFM演算法應用到推薦系統中時，具體地是應用在排序模組。

FFM演算法，全稱是Field-aware Factorization Machines，是FM（Factorization Machines）的改進版。這個改進原理上比較簡單，所以我想先把FM講清楚。

我們知道推薦演算法中，最廣為人知的是協同過濾演算法，協同過濾一般分為基於使用者的協同過濾和基於物品的協同過濾，而除此之外，還有基於隱語義的協同過濾。我們來考慮一個電影評分的問題，使用者對於電影的評分，可以構成一個評分矩陣M

，這個矩陣是稀疏的，因為每個使用者看過的電影都是有限的，這個矩陣裡面會有很多缺失項，我們要做的便是將這個稀疏矩陣填滿，我們可以怎麼做呢？想象一個興趣空間，這個空間裡面有多個維度，維度一表示懸疑型別，維度二表示言情型別，等等。那麼使用者的興趣可以表達為這個空間裡的一個向量u，而電影本身的特點也可以用這個空間裡的向量v表達，於是使用者對電影的評分可以用內積 u⋅v來表示。通過這個方式，我們便可以對這個評分矩陣做矩陣分解:

M=UT⋅V
其中U是使用者在隱語義空間對應的向量組成的矩陣，而V則是電影對應的矩陣。求解這個矩陣分解問題對應的優化問題是這樣：
minU,V∑ru,v∈R(ru,v−u⋅

v)2
其中R是使用者對電影的評分的集合，ru.v即表示使用者u對電影v的評分。這裡為了方便省略了正則項。通過求解這個優化問題，得到矩陣U和V，於是對於ru′,v′∉R，可以通過u′⋅v′得到。也就是說這個隱語義模型具有很好的泛化能力，可以對沒有出現的使用者對電影的評分做出比較準確的預測。

我們來看一下廣泛應用在排序場景裡的邏輯迴歸，為了學習出不同特徵之間的關聯，邏輯迴歸的使用中往往會引入高階特徵。比如說性別跟手機品牌的關係，通過引入（性別+手機品牌）的二階特徵，模型可以學習到不同性別對不同手機品牌的興趣。但如果訓練樣本中沒有出現（女性+錘子），模型也就無法學習到女性對於錘子的興趣程度。那麼如果說我就是想知道女性對於錘子的興趣呢？考慮上面的隱語義模型，如果我們把女性和錘子這些特徵對映到隱語義空間，通過學習女性和路虎各自對應的向量，就可以用這兩個向量的內積得到這個興趣。這樣嘗試就得到了FM。（這裡使用興趣這個詞是不太嚴謹的，更準確地講是這個二階特徵的權重）

邏輯迴歸模型可以寫成:

y=11+e−ϕ(w,x)
ϕ(w,x)=∑wi⋅xi
其中wi為xi對應的權重。將上面的ϕ(w,x)改寫為：
∑(i,j)∈C(wi⋅wj)xixj
就得到了FM模型，其中wi即特徵xi所對應的隱語義空間的向量，C則是二階交叉特徵的組合。隱語義空間的維度是一個超引數，用k表示。這裡省略了一階項和正則項。

FM模型相對於邏輯迴歸有了更好的泛化能力，可以學習出訓練樣本中沒有的交叉特徵的權重。而另一方面，在效能上也有很好的表現，使用邏輯迴歸的時候，對於有N個特徵的情況，所有二階特徵對應的引數數量是N2（當然一般也沒人會取遍所有二階組合），而FM模型對應的引數總數只有Nk，一般地k<100<<N。

接下來，我們看下使用邏輯迴歸時特徵處理的過程。對於分類特徵，會做熱獨編碼。比如手機品牌有華為小米蘋果等等，那麼當用戶手機品牌為華為時，特徵可以表示為{fea_mobile_huawei=1, fea_mobile_xiaomi=0, fea_mobile_apple=0…….}這樣的形式。那麼這樣處理之後，fea_mobile_huawei可以稱為特徵（feature），而對於手機品牌在熱獨編碼後對應的多個特徵，可以稱為域（field）。回頭看一下基於隱語義的協同過濾模型，裡面實際可以看做是涉及了兩個域，即使用者域和電影域，這個模型只涉及了兩個域的互作用。對於FM模型呢，每個向量都是同時跟多個域互作用，比如手機品牌會同時跟使用者的性別、推薦的商品等等域互作用。FFM演算法的作者認為，兩個域之間的互作用應該獨立出來，也就是手機品牌跟使用者性別互作用有一個對應的向量，而跟推薦的商品互作用時也有一個對應的向量，這也就是所謂的field-aware。FFM模型可以通過修改上面的ϕ(w,x)得到，於是FFM模型的優化問題可以完整寫出：

minw∑l=1mlog(1+exp(−ylϕ(w,xl)))+λ2∥w∥2
ϕ(w,x)=∑(i,j)∈C(wi,fj⋅wj,fi)xixj
其中wi,fj即xi與field=j的特徵互作用時對應的向量。
minwL(w)=minw[−1

推薦演算法之FFM：原理及實現簡介

推薦演算法之FFM：原理及實現簡介

Vue 進階系列（三）之Render函式原理及實現

Vue 進階系列之響應式原理及實現

多模字串匹配演算法之AC自動機—原理與實現

九大排序演算法之插入排序（原理及實現）

九大排序演算法之選擇排序（原理及實現）

演算法：CLH鎖的原理及實現

寫程式學ML：Logistic迴歸演算法原理及實現（三）

寫程式學ML：樸素貝葉斯演算法原理及實現（一）

寫程式學ML：Logistic迴歸演算法原理及實現（一）

寫程式學ML：樸素貝葉斯演算法原理及實現（二）

寫程式學ML：決策樹演算法原理及實現（四）

寫程式學ML：Logistic迴歸演算法原理及實現（二）

資訊摘要演算法之二：SHA1演算法分析及實現

推薦演算法之： DeepFM及使用DeepCTR測試

Vue 進階系列（二）之外掛原理及實現

.NetCore 中介軟體之AddAuthentication服務說明及實現原理簡述

機器學習系列：k 近鄰法（k-NN）的原理及實現

轉 vue實現雙向資料繫結之原理及實現篇 vue的雙向繫結原理及實現

機器學習之線性迴歸原理及sklearn實現

推薦演算法之FFM：原理及實現簡介

相關推薦