Factorization Machine（FM）1是現代推薦系統的基礎演算法之一。本文介紹FM的模型思想、計算與優化方法。

FM模型

問題

輸入：n維資料x。
預測：標量y

舉例
- 迴歸：x的元素和y都為實數
- 二類分類：x的元素為實數，y為±1
- 排序：x=(xa,xb)為有序對，y為±1

在實際問題中，x往往非常稀疏：x中非零元素個數遠遠小於n。

舉例
一個電影推薦系統，系統中有n1個使用者，有n2部電影。
系統中的每一條記錄包含如下資訊：使用者編號，時間，電影編號，打分。
想要設計一個系統，預測使用者某時刻對某一部電影的評分。

對於每一條記錄，按照如下方式將其轉化為(x,y)對：

-	內容	維度	說明
x	1-hot編碼的使用者編號	n1	使用者多，此部分稀疏
1-hot編碼的電影編號	n2	電影多，此部分稀疏
0-1標記使用者已經看過的電影，歸一化到和為一	n2	大部分使用者只看過很少電影，此部分稀疏
時間	1
y	評分	1

稀疏資料的挑戰

一個預測模型可以有不同的“度”(degree)，度越大，對x元素之間的相互作用考慮的越多。

d=1時，是線性模型：

y(x)=∑i=1nwixi
d=2時，考慮元素對之間的關係：
y(x)=∑i=1nw1ixi+∑i=1n∑j=i+1nw2ijxixj

注意第二項，下標j的迴圈從i+1開始。

d=3時，考慮三元組之間的關係：

y(x)=∑i=1nw1ixi+∑i=1n∑j=i+1nw2ijxixj+∑i=1n∑j=i+1n∑k=j+1nw3ijkxixjxk

模型中引數總量為O(nd)。比較而言，訓練資料本身數量不足（記錄不多），且非常稀疏，很容易過擬合。

FM的解決方案

FM使用分解（factorization）的方法解決這個問題。

以d=2為例，令：

wij=<vi

,vj>=∑p=1rvipvjp

類似地，d=3時：

wijk=<vi,vj,vk>=∑p=1rvipvjpvkp

其中，<∗,∗

相關推薦

【推薦系統】Factorization Machine

Factorization Machine（FM）1是現代推薦系統的基礎演算法之一。本文介紹FM的模型思想、計算與優化方法。 FM模型 問題 輸入：n維資料x。 預測：標量y 舉例 - 迴歸：x的元素和y都為實數 - 二類分類

Machine Learning第九講【推薦系統】-- （二）協同過濾

一、Collaborative Filtering（協同過濾） 協同過濾能夠自行學習所需要使用的特徵。 來看下面的例子： 在之前講的基於內容的推薦系統中，我們需要事先建立特徵並知道特徵值，這是比較困難的。 假設我們某一使用者的喜好，即假如Alice、Bob喜歡romance的電影，carol

Machine Learning第九講【推薦系統】--（一）基於內容的推薦系統

符號介紹： 對於每一個使用者j，假設我們已經通過學習找到引數，則使用者j對電影i的評分預測值為：。   對於上面的例子：                   

【推薦系統】評估指標總結

準確率指標: 該型別的指標大部分是推薦演算法優化的目標，衡量著推薦演算法的優劣。 準確率。推薦給使用者的商品中，屬於測試集的比例，數學公式$P(L_{u})=\frac{L_{u}\bigcap B_{u}}{L_{u}}$ 。整個測試集的準確率為 $P_{L}=\frac{1}{n}\sum_{u\

【推薦系統】推薦系統常用資料集

最近在做融合評論資訊的推薦系統，找到了許多資料集，就在這裡總結一下吧。 Retailrocket 商品評論和推薦資料 The dataset consists of three files: a f

【推薦系統】詳解基於內容的推薦演算法

作者：章華燕編輯：田　旭前言在第一篇文章《推薦演算法綜述》中我們說到，真正的推薦系統往往是多個推

【推薦系統】搜狐個性化視訊推薦架構設計和實踐

為什麼要做推薦系統？視訊的覆蓋率問題，好的視訊無法難以被人發現，隨著使用者的量的增加，大部分使用

【推薦系統】2017年，你還在用使用者畫像和協同過濾做推薦系統嗎？

本文是大資料雜談 7 月 13 日社群公開課分享整理，也是第四正規化主題月的第二堂公開課內容。 今天想和大家分享，如何使用大規模機器學習解決真實的業務問題。我們今天會以機器學習中的一個典型場景為例來講解，即基於大規模機器學習模型的推薦系統。 推薦系統的本質是什麼？ 比如說我們看到手機淘寶首頁，往下一

【推薦系統】推薦系統重要會議和期刊

ACM SIGKDD(Special Interest Group on KnowledgeDiscovery and Data Mining)國際會議是由ACM的資料探勘及知識發現專委會主辦的資料探勘領域的頂級年會。它涵蓋了特邀主題演講(keynote presentations)、論文口頭報告(o

【推薦系統】融合 MF 和 RNN 的電影推薦系統

來源：楊敏   PaperWeekly 全標題：Leveraging Long and Shor

【推薦系統】基於內容的推薦系統和基於知識的推薦系統

1、基於內容的推薦系統 （1）基於內容的推薦演算法概述 基於內容的推薦演算法(Content-based Recommendations, CB)也是一種工業界應用比較廣的一種推薦演算法。由於協同過濾推薦演算法中僅僅基於使用者對於商品的評分進行推薦，所以有可

【推薦系統】協同過濾

一、協同過濾：找到與某使用者有相同偏好的其它使用者，具體步驟： 1 收集使用者偏好（比如電影推薦時，某使用者對某電影的的打分，評論、轉發等） 2 找到相似的使用者或者物品 3 計算推薦 基於使用者的協同過濾：計算使用者之間的相似度 使用者A與使用者C很相似，

【推薦系統演算法】DPMF(Dependent Probabilistic Matrix Factorization).上篇

Adams, Ryan Prescott, George E. Dahl, and Iain Murray. “Incorporating side information in probabilistic matrix factorization

【推薦系統演算法】DPMF(Dependent Probabilistic Matrix Factorization).中篇

Adams, Ryan Prescott, George E. Dahl, and Iain Murray. “Incorporating side information in probabilistic matrix factorization wit

【推薦系統實戰】：C++實現基於用戶的協同過濾（UserCollaborativeFilter）

color style popu ted std 相似度 abi ear result 好早的時候就打算寫這篇文章，可是還是參加阿裏大數據競賽的第一季三月份的時候實驗就完畢了。硬生生是拖到了十一假期。自己也是醉了。。。找工作不是非常順利，希望寫點東西回想一下知識。然後再

【推薦系統篇】--推薦系統介紹和基本架構流程

方案 排序 技術分享 企業 生成 線上 系統 src 測試數據 一、前述 推薦系統是企業中常用的技術，所以系統的掌握推薦系統的知識是很有必要的。本專欄主要講述手機APP下載的項目。 常用的推薦方法有兩個，分別是基於物品的推薦和基於用戶的推薦。 基於用戶的推薦原理是：跟你喜好

讀書筆記【推薦系統實踐】

第一章 好的推薦系統 什麼是推薦系統？ 在資訊過載的時代，無論是資訊生產者還是資訊消費者都很難獲得有用的資訊。前者，需要把自己好的東西推廣出去，後者需要找到自己需，要但自己所不知道的東西。 為了解決資訊過載的問題，人類已經提出了很多解決方案，其中具有代表性有分類目錄和搜尋引擎。分別催生了雅虎和

【推薦演算法】今日頭條推薦系統原理

據悉，今日頭條的資訊推薦演算法自2012年9月第一版開發執行至今，已經經過四次大調整和修改。目前服務全球億萬使用者。 以下為曹歡歡關於《今日頭條演算法原理》的分享內容（已授權）： 本次分享將主要介紹今日頭條推薦系統概覽以及內容分析、使用者標籤、評估分析，內容安全等

【操作系統】死鎖的理解

use 系統 pad clas 自己 web lazy 銀行家算法 pkg 【操作系統】死鎖的理解 2017-05-08 若愚 今天分享給大家操作系統中死鎖的相關概念和解決辦法，內容來自與自己當時做的筆記和網絡~有問題可以後臺回復，會盡量回答哦 一、死鎖的概念

【操作系統】多道程序的理解

提高效率 不同 多道程序設計 發生 延長 改善 alt 優點 高效 今天的題目是關於多道程序設計的理解，看到就一次性掌握它！ （圖片是操作系統層次的結構） 1什麽是多道程序設計? 它的主要優點是什麽?【分析與解答】所謂多道程序設計, 是指把一個以上的程序存