使用LFM（Latent factor model）隱語義模型進行Top-N推薦

最近在拜讀項亮博士的《推薦系統實踐》，系統的學習一下推薦系統的相關知識。今天學習了其中的隱語義模型在Top-N推薦中的應用，在此做一個總結。

隱語義模型LFM和LSI，LDA，Topic Model其實都屬於隱含語義分析技術，是一類概念，他們在本質上是相通的，都是找出潛在的主題或分類。這些技術一開始都是在文字挖掘領域中提出來的，近些年它們也被不斷應用到其他領域中，並得到了不錯的應用效果。比如，在推薦系統中它能夠基於使用者的行為對item進行自動聚類，也就是把item劃分到不同類別/主題，這些主題/類別可以理解為使用者的興趣。

對於一個使用者來說，他們可能有不同的興趣。就以作者舉的豆瓣書單的例子來說，使用者A會關注數學，歷史，計算機方面的書，使用者B喜歡機器學習，程式語言，離散數學方面的書， 使用者C喜歡大師Knuth, Jiawei Han等人的著作。那我們在推薦的時候，肯定是向用戶推薦他感興趣的類別下的圖書。那麼前提是我們要對所有item（圖書）進行分類。那如何分呢？大家注意到沒有，分類標準這個東西是因人而異的，每個使用者的想法都不一樣。拿B使用者來說，他喜歡的三個類別其實都可以算作是計算機方面的書籍，也就是說B的分類粒度要比A小；拿離散數學來講，他既可以算作數學，也可當做計算機方面的類別，也就是說有些item不能簡單的將其劃歸到確定的單一類別；拿C使用者來說，他傾向的是書的作者，只看某幾個特定作者的書，那麼跟A，B相比它的分類角度就完全不同了。

顯然我們不能靠由單個人（編輯）或team的主觀想法建立起來的分類標準對整個平臺使用者喜好進行標準化。

1. 我們在可見的使用者書單中歸結出3個類別，不等於該使用者就只喜歡這3類，對其他類別的書就一點興趣也沒有。也就是說，我們需要了解使用者對於所有類別的興趣度。
2. 對於一個給定的類來說，我們需要確定這個類中每本書屬於該類別的權重。權重有助於我們確定該推薦哪些書給使用者。

 

R矩陣是user-item矩陣，矩陣值Rij表示的是user i 對item j的興趣度，這正是我們要求的值。對於一個user來說，當計算出他對所有item的興趣度後，就可以進行排序並作出推薦。LFM演算法從資料集中抽取出若干主題，作為user和item之間連線的橋樑，將R矩陣表示為P矩陣和Q矩陣相乘。其中P矩陣是user-class矩陣，矩陣值Pij表示的是user i對class j的興趣度；Q矩陣式class-item矩陣，矩陣值Qij表示的是item
j在class i中的權重，權重越高越能作為該類的代表。所以LFM根據如下公式來計算使用者U對物品I的興趣度

我們發現使用LFM後， 

1. 我們不需要關心分類的角度，結果都是基於使用者行為統計自動聚類的，全憑資料自己說了算。
2. 不需要關心分類粒度的問題，通過設定LFM的最終分類數就可控制粒度，分類數越大，粒度約細。
3. 對於一個item，並不是明確的劃分到某一類，而是計算其屬於每一類的概率，是一種標準的軟分類。
4. 對於一個user，我們可以得到他對於每一類的興趣度，而不是隻關心可見列表中的那幾個類。
5. 對於每一個class，我們可以得到類中每個item的權重，越能代表這個類的item，權重越高。

那麼，接下去的問題就是如何計算矩陣P和矩陣Q中引數值。一般做法就是最優化損失函式來求引數。在定義損失函式之前，我們需要準備一下資料集並對興趣度的取值做一說明。

上式中的是用來防止過擬合的正則化項，λ需要根據具體應用場景反覆實驗得到。損失函式的優化使用隨機梯度下降演算法：

1. 通過求引數PUK和QKI的偏導確定最快的下降方向；

1. 迭代計算不斷優化引數（迭代次數事先人為設定），直到引數收斂。

其中，α是學習速率，α越大，迭代下降的越快。α和λ一樣，也需要根據實際的應用場景反覆實驗得到。本書中，作者在MovieLens資料集上進行實驗，他取分類數F=100，α=0.02，λ=0.01。
               【注意】：書中在上面四個式子中都缺少了


綜上所述，執行LFM需要：

1. 根據資料集初始化P和Q矩陣（這是我暫時沒有弄懂的地方，這個初始化過程到底是怎麼樣進行的，還懇請各位童鞋予以賜教。）
2. 確定4個引數：分類數F，迭代次數N，學習速率α，正則化引數λ。

LFM的虛擬碼可以表示如下：

1. def LFM(user_items, F, N, alpha, lambda):  
2.     #初始化P,Q矩陣
3.     [P, Q] = InitModel(user_items, F)  
4.     #開始迭代
5.     For step in range(0, N):  
6.         #從資料集中依次取出user以及該user喜歡的iterms集
7.         for user, items in user_item.iterms():  
8.             #隨機抽樣，為user抽取與items數量相當的負樣本，並將正負樣本合併，用於優化計算
9.             samples = RandSelectNegativeSamples(items)  
10.             #依次獲取item和user對該item的興趣度
11.             for item, rui in samples.items():  
12.                 #根據當前引數計算誤差
13.                 eui = eui - Predict(user, item)  
14.                 #優化引數
15.                 for f in range(0, F):  
16.                     P[user][f] += alpha  (eui  Q[f][item] - lambda  P[user][f])  
17.                     Q[f][item] += alpha  (eui  P[user][f] - lambda Q[f][item])  
18.         #每次迭代完後，都要降低學習速率。一開始的時候由於離最優值相差甚遠，因此快速下降；
19.         #當優化到一定程度後，就需要放慢學習速率，慢慢的接近最優值。
20.         alpha *= 0.9

當估算出P和Q矩陣後，我們就可以使用(*)式計算使用者U對各個item的興趣度值，並將興趣度值最高的N個iterm（即TOP N）推薦給使用者。

總結來說，LFM具有成熟的理論基礎，它是一個純種的學習演算法，通過最優化理論來優化指定的引數，建立最優的模型。