1. 程式人生 > >5、AFM(Attention+FM)-----Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Network

5、AFM(Attention+FM)-----Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Network

factor eat .com 問題 架構 機器 tran 權重 machine

1、摘要:

提出一個Attentional FM,Attention模型+因子分解機,其通過Attention學習到特征交叉的權重。因為很顯然不是所有的二階特征交互的重要性都是一樣的,如何通過機器自動的從中學習到這些重要性是這篇論文解決的最重要的問題,

比如:作者舉了一個例子,在句子"US continues taking a leading role on foreign payment transparency"中,除了"foreign payment transparency",其它句子明顯與財經新聞無關,它們之間的交叉作用可認為對主題預測是一種噪音。

2、FM

技術分享圖片

3、註意力機制

AFM模型架構:

技術分享圖片

技術分享圖片

技術分享圖片

技術分享圖片

5、AFM(Attention+FM)-----Attentional Factorization Machines:Learning the Weight of Feature Interactions via Attention Network