推薦系統學習筆記之四 Factorization Machines 因子分解機 + Field-aware Factorization Machine(FFM) 場感知分解機

前言

Factorization Machines(FM) 因子分解機是Steffen Rendle於2010年提出，而Field-aware Factorization Machine (FFM) 場感知分解機最初的概念來自於Yu-Chin Juan與其比賽隊員，它們借鑑了辣子Michael Jahrer的論文中field概念，提出了FM的升級版模型。
FM的paper中主要對比物件是SVM支援向量機，與SVM相比，有如下幾個優勢

FM可以實現對於輸入資料是非常稀疏（比如自動推薦系統），而SVM會效果很差，因為訓出的SVM模型會面臨較高的bias。
FMs擁有線性的複雜度, 可以通過 primal 來優化而不依賴於像SVM的支援向量機。

在推薦系統和計算廣告領域，點選率CTR（click-through rate）和轉化率CVR（conversion rate）是衡量廣告流量的兩個關鍵指標。準確的估計CTR、CVR對於提高流量的價值，增加廣告收入有重要的指導作用。FM和FFM近年來表現突出，分別在由Criteo和Avazu舉辦的CTR預測競賽中奪得冠軍。

Factorization Machines 因子分解機

假如在某個電影播放網站有這麼一組實時資料：

MoviesClass	Actor	Director	MoviesIsPlay?
Action	A	AA	1
Romantic	B	BB	0
Action	A	BB	1

其中MoviesIsPlay?是label，MoviesClass 、UserType、Actor、Director是特徵。以上這四種特徵都是categorical型別的，需要經過獨熱編碼（One-Hot Encoding）轉換成數值型特徵。

MoviesClass = Action	MoviesClass = Romantic	Actor = A	Actor = B	Director = AA	Director = BB	MoviesIsPlay = 1	MoviesIsPlay = 0
1	0	1	0	1	0	1	0
0	1	0	1	0	1	0	1
1	0	1	0	0	1	1	0

從該獨熱編碼表可以看出矩陣許多值都為0，資料十分稀疏，而且會導致資料維度增大，數量級從n增大到n2。

而我們的目的是從該矩陣中獲取到特徵的某些關聯，比如MovieClass=action 與 actor=A 關聯比較大，電影播放量可很客觀，從而對使用者進行推薦。

先從線性迴歸和多項式迴歸開始建模，這裡我們以二階多項式模型（degree = 2時）為例：
xixj表示特徵xi和xj的組合，當xi和xj都非零時，組合特徵xixj才有意義。

y^(x):=w0+∑i=1nwixi線性回歸+∑i=1n∑j=i+1nwijxixj交叉項（組合特徵）
其中，n 代表樣本的特徵數量，xi是第 i 個特徵的值，w0、wi、wij是模型引數。

從此公式可以看出組合特徵一共有n(n-1)/2個，如果特徵n上百個，組合特徵上萬個，就是任意兩個wij相互獨立，樣本資料很稀疏，xixj為非零的項會非常的少，導致訓練樣本的不足，很容易導致引數 wij不準確，最終將嚴重影響模型的效能和穩定性。

那麼如何解決這些問題呢？上一篇部落格的矩陣分解提供了思路。在一個rating矩陣可以分解為user矩陣和item矩陣，每個user和item都可以採用一個隱向量表示，兩個向量的點積就是矩陣中user對item的打分。

類似地，所有二次項引數 wij 可以組成一個對稱陣 W，可以分解為W=VTV，V 的第 j 列便是第 j 維特徵的隱向量，也就是說每個引數 wij=⟨vi,vj⟩，這就是FM模型的核心思想（不討論高階形式）。所以可以得到：

y^(x):=w0+∑i=1nwixi+∑i=1n∑j=i+1n⟨vi,vj⟩xixj
其中<>表示兩個向量的點積⟨vi,vj⟩:=∑f=1kvi,f⋅vj,f
直觀上看，FM的複雜度是 O(kn2)。但是，通過下列等式，FM的二次項可以化簡，其複雜度可以優化到 O(kn)。由此可見，FM可以線上性時間對新樣本作出預測。
∑i=1n∑j=i+1n⟨vi,vj⟩

推薦系統學習筆記之四 Factorization Machines 因子分解機 + Field-aware Factorization Machine(FFM) 場感知分解機

前言

Factorization Machines 因子分解機

推薦系統學習筆記之四 Factorization Machines 因子分解機 + Field-aware Factorization Machine(FFM) 場感知分解機

推薦系統學習筆記之三 LFM (Latent Factor Model) 隱因子模型 + SVD (singular value decomposition) 奇異值分解

Unity3D之Mecanim動畫系統學習筆記（四）：Animation State

ceph學習筆記之四PG

Android異步載入學習筆記之四：利用緩存優化網絡載入圖片及ListView載入優化

Linux學習筆記之四————Linux常用命令（待補充）

Linux 學習筆記之四查看文件

項目管理學習筆記之四.風險管理

系統學習redis之四——redis數據類型之hash類型及操作

python學習筆記之四-多進程&多線程&異步非阻塞

Memcached學習筆記之四：Memcache應用場景介紹

Cocos Creator 系統學習筆記（四）--座標系統

Cocos Creator 系統學習筆記（四）--坐標系統

Nordic nRF5 SDK 學習筆記之四, TWI (I2C) 匯流排

MyBatis學習筆記之四--annotation註解

SpringSecurity學習筆記之四：攔截請求

Zynq Linux移植學習筆記之四 fsbl

機器學習筆記之四——線性迴歸原理以及推導

PMP學習筆記之四第三章單個專案管理過程

Netty4 學習筆記之四: Netty HTTP服務的實現

推薦系統學習筆記之四 Factorization Machines 因子分解機 + Field-aware Factorization Machine(FFM) 場感知分解機

前言

Factorization Machines 因子分解機

相關推薦