【論文閱讀筆記】Deep Learning based Recommender System: A Survey and New Perspectives
【論文閱讀筆記】Deep Learning based Recommender System: A Survey and New Perspectives
2017年12月04日 17:44:15 cskywit 閱讀數：1116更多
個人分類： 機器學習
版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/cskywit/article/details/78712006
本文只是提取了《DeepLearning based Recommender System: A Survey and New Perspectives》這篇文章中的一些主要內容進行翻譯，對於文中的詳細演算法感興趣的讀者請參考原文中的相關參考文獻。本文發表在ACM2017上。主要內容如下：
1. 推薦系統模型主要分為三個大類：基於協同過濾、基於內容和混合模型。推薦系統要完成的任務也可以分為三類：評分(rarting)、排名(ranking)、分類(classification)。
2. 深度學習相關技術用於推薦體統的包括：
多層感知機（MLP）、自動編碼器(AE)、CNN（擅長處理格子型別的資料）、RNN（擅長處理序列資料）、深度語義相似度模型(DSSM)、受限波爾茨曼機（RBM）、神經自迴歸分佈預估(NADE)、GAN（生成式對抗網路）。
3. 本文按照僅僅使用深度學習的推薦系統和混合使用多種技術的推薦系統進行分來闡述。在僅僅基於深度模型的推薦系統中，MLP可以很容易地對使用者和專案之間的非線性互動進行建模；CNN能夠從異構資料來源，如文字和視覺資訊提取區域性和全域性表示。RNN 能夠對使用者動態的評分資料、內容資訊的序列影響進行建模，DSSM能夠執行使用者和專案之間的語義匹配。
4. 從2007年以後關於推薦系統的論文數量上看，基於AE、RNN、CNN和MLP的推薦系統數量很多，基於RBM和DSSM的模型近期被大量研究。
使用最多的資料集：Movielens 3 and Netfix。其他使用的資料集包括：Amazon , Yelp和 CiteUlike。
從評估方法上看：均方根誤差(RMSE)、平均誤差(MAE)經常被用來對評分預測進行評估。歸一化累計折扣增益(NDCG)和AUC曲線經常被用於評估排名中的召回率和精確度。精確度、召回率和F1-Score經常被用於分類結果評估。
推薦系統使用的領域很多，本文主要關注以下幾個領域的推薦系統：圖片、音樂、興趣點、新聞、興趣標籤、引用、引文。
5. 基於MLP的推薦系統
（1）僅僅基於MLP的推薦系統
（2）傳統推薦系統與MLP整合的系統
使用引入注意力模型的協同過濾。注意力模型是一個MLP，包含item-level 和component-level。其中item-level用於選擇最具用標識使用者特徵的item。component-level用於從每個使用者的多媒體輔助資訊中捕獲最具資訊量的特徵。
6.基於自動編碼器
基於自動編碼器的推薦系統通常在模型中加入隨機噪聲和正則化項進行訓練以增強模型魯棒性。
7．基於CNN
CNN在其中主要用於特徵提取。
8.基於RNN
RNN擅長處理動態特徵和序列特徵。
9.基於DSSM
深度語義相似度模型被廣泛用於資訊檢索領域。它將不同的條目對映進共同的低維空間，用Cosine函式計算他們的相似度。基本的DSSM由MLP組成，卷積和池化層也可以很容易的加入以實現更復雜的功能。
10.基於受限波爾茨曼機
11.NADE和GAN
12.混合模型，同時使用多種以上模型進行推薦
13.未來的研究方向：
(1)更深層次的理解使用者意圖，從社交媒體及現實世界提取並研究使用者footprint目前研究還很少，充分利用這些side information將有助於實現更加精確的推薦系統。
(2)推薦系統中的特徵工程研究還較少，目前主要通過手工選擇特徵，而深度神經網路是一個比較有潛力的特徵工程工具。
(3)動態時間(Temporal Dynamics)。長時間跟蹤使用者互動不太可行，但是跟蹤使用者短期互動是可行的，RNN在會話建模(session modeling)上的優勢可以做這一工作。另外深度序列建模對於系統演變的時間動態性建模也很有潛力。
(4)跨領域的推薦系統，如使用遷移學習，將在一個領域學習到的推薦模型演變應用在另一個推薦領域，目前這一方式的研究還很少。
(5)多工學習
(6)注意力機制。可以幫助網路用來更好的記憶輸入資訊，通過將資訊量較少的資訊過濾，保留最值得關注的資訊，給模型提供更好的可解釋性。
(7)可測量性。為了使推薦系統更加高效，未來需要探索一下問題：對於如持續不斷到來的使用者選擇資料和選項資料之類的流資料進行增量學習的方法；對於高維感測器和多媒體資料如何進行高效計算；隨著模型引數的增長，如何平衡模型複雜度和可測量性。