1. 程式人生 > >論文筆記-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

論文筆記-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

contain feature 比較 san date res 離散 edi post

針對交叉(高階)特征學習提出的DeepFM是一個end-to-end模型,不需要像wide&deep那樣在wide端人工構造特征。

網絡結構:

技術分享圖片

sparse features的構造:類別型特征one-hot,連續型特征數值表示,或者分段離散後one-hot

技術分享圖片

FM與NN分別輸出預測y後,對兩個結果進行sigmoid

FM部分:

技術分享圖片

paper指出在數據稀疏的情況下,FM仍能有效地學出二階特征,最後FM的預測為:

技術分享圖片

deep部分:

技術分享圖片

papar指出這個網絡結構兩個特別的點:

1)雖然input的field vector長度不一,但是它們embedding出來的長度是固定的

2)FM的latent vector V向量作為原始特征到embedding vector的權重矩陣,放在網絡裏學習,如下圖。

(個人理解,也就是說在網絡的一二層,學出來的weight就是FM的latent vector,然後在FM component中使用,計算y_fromFM)

技術分享圖片

deepFM中FM與deep部分共享一份embedding數據,有兩點好處:

1)能夠從原始特征同時學習低階和高階特征

2)不需要像W&D做特征工程

paper之後比較了該模型與W&D在內的好幾個模型,因為還沒有讀它們的原始論文,暫不記了。

論文筆記-DeepFM: A Factorization-Machine based Neural Network for CTR Prediction