推薦系統介紹

當下，個性化推薦成了網際網路產品的標配。但是，人們對推薦該如何來做，也就是推薦技術本身，還不甚瞭解。為此，好學的你肯定在收藏著朋友圈裡流傳的相關文章，轉發著微博上的相關討論話題，甚至還會不斷奔走在各種大小行業會議之間，聽著大廠職工們講那些乾貨。我知道，這樣碎片化的吸收，增加了知識的同時，也增加了焦慮。因為技術的不平等廣泛存在於業界內，推薦系統也不例外。推薦系統從搜尋引擎借鑑了不少技術和思想，比如內容推薦有不少技術就來自搜尋引擎， 由 Amazon 發揚光大的。推薦系統也是現在熱門的人工智慧分支之一，但凡人工智慧類的落地，都需要具備這幾個基本元素才行：資料、演算法、場景、計算力。推薦系統也不例外，而剛好，現在的時代，這些元素的獲得成本相比十年前已經小了很多。未來隨著各種硬體裝置越來越智慧，萬物互聯得越來越緊密，人們的個性化需求、場景的多樣性、資料的複雜性都對推薦系統提出了更高的要求。

推薦系統概括一下，其實就是以下的的目標主要包括： 

• 使用者滿意性：首當其衝的，推薦系統主要就是為了滿足使用者的需求，因此準確率是評判一個推薦系統好壞的最關鍵指標。
• 多樣性：雖然推薦系統最主要還是滿足使用者的興趣，但是也要兼顧內容的多樣性，對於權重不同的興趣都要做到兼顧。
• 新穎性：使用者看到的內容是那些他們之前沒有聽說過的物品。簡單的做法就是在推薦列表去掉使用者之前有過行為的那些內容。
• 驚喜度：和新穎性類似，但新穎性只是使用者沒看到過的但是確實是和他行為是相關的，而驚喜度是使用者既沒有看過和他之前的行為也不相關，但使用者看到後的確是喜歡的。
• 實時性：推薦系統要根據使用者的上下文來實時更新推薦內容，使用者的興趣也是隨著時間而改變的，需要實時更新。
• 推薦透明度：對於使用者看到的最終結果，要讓使用者知道推薦此內容的原因。比如，“買過這本書的人同時也買過”、”你購買過的xx和此商品類似”。
• 覆蓋率：挖掘長尾內容也是推薦系統很重要的目標。因此，推薦的內容覆蓋到的內容越多越好。

基於這些目標，推薦系統包括四種推薦方式：

• 熱門推薦：就是熱門排行榜的概念。這種推薦方式不僅僅在IT系統，在平常的生活中也是處處存在的。這應該是效果最好的一種推薦方式，畢竟熱門推薦的物品都是位於曝光量比較高的位置的。
• 人工推薦：人工干預的推薦內容。相比於依賴熱門和演算法來進行推薦。一些熱點時事如世界盃、nba總決賽等就需要人工加入推薦列表。另一方面，熱點新聞帶來的推薦效果也是很高的。
• 相關推薦：相關推薦有點類似於關聯規則的個性化推薦，就是在你閱讀一個內容的時候，會提示你閱讀與此相關的內容。
• 個性化推薦：基於使用者的歷史行為做出的內容推薦。也是本文主要講述的內容。

其中，前三者是和機器學習沒有任何關係的，但卻是推薦效果最好的三種方式。一般說來，這部分內容應該佔到總的推薦內容的80%左右，另外20%則是對長尾內容的個性化推薦。

推薦系統架構

online部分架構

核心模組

• 業務閘道器，推薦服務的入口，負責推薦請求的合法性檢查，組裝請求響應的結果。

• 推薦引擎，推薦系統核心，包括online邏輯，召回、過濾、特徵計算、排序、 多樣化等處理過程。

資料路徑

1、請求的重新整理從gateway，經過流量分配模組，傳到業務gateway，業務gateway支援http，tcp（使用thirtf協議或者protobuf 協議）等多種型別介面；

2、使用者行為資料，從gateway到Flume agent，然後到kafka，為後面online，realtime userprofile部分的提供實時資料，也為offline部分的資料儲存系統提供資料。

offline部分架構

本文從大框架上介紹推薦系統架構，在許多公司面試中會給你一個推薦或者資料探勘的問題，比如讓你簡單設計一個feed流推薦系統，所以需要對推薦系統的整體框架要了解。下面是一個推薦系統的主要部分

從框架的角度看，推薦系統基本可以分為資料層、召回層、排序層。

資料層包括資料生成和資料儲存，主要是利用各種資料處理工具對原始日誌進行清洗，處理成格式化的資料，落地到不同型別的儲存系統中，供下游的演算法和模型使用。

sessionlog：對原始資料進行清洗合併，sessionlog一般就是清洗合併後的資料，後續的演算法和統計都是根據sessionlog進行再加工。

userprofile：對使用者屬性和行為等資訊進行採集和統計，為後續演算法提供特徵支援。

itemDoc：對視訊、商品等屬性、曝光、點選等欄位進行統計， 為後續演算法提供特徵支援。

召回層主要是從使用者的歷史行為、實時行為等角度利用各種觸發策略產生推薦的候選集，對不同的策略和演算法產生的候選集進行融合並按照產品規則進行過濾，一般融合和過濾後的候選集還是比較多的，一次線上請求過來之後線上系統無法對那麼多的候選集進行排序，所以在召回層一般還會有粗排序，對融合的候選集進行一次粗排序，過濾掉粗排分數較低的候選集。

排序層主要是利用機器學習的模型對召回層篩選出來的候選集進行精排序。

資料特徵

資料決定了特徵，特徵決定了效果的上限，模型決定了接近效果上限的程度。

1. 使用者主動行為資料記錄了使用者在平臺的的各種行為，這些行為一方面用於候選集觸發演算法（在下一部分介紹）中的離線計算（主要是瀏覽、下單），另外一方面，這些行為代表的意圖的強弱不同，因此在訓練重排序模型時可以針對不同的行為設定不同的迴歸目標值，以更細地刻畫使用者的行為強弱程度。此外，使用者對deal的這些行為還可以作為重排序模型的交叉特徵，用於模型的離線訓練和線上預測。
2. 負反饋資料反映了當前的結果可能在某些方面不能滿足使用者的需求，因此在後續的候選集觸發過程中需要考慮對特定的因素進行過濾或者降權，降低負面因素再次出現的機率，提高使用者體驗；同時在重排序的模型訓練中，負反饋資料可以作為不可多得的負例參與模型訓練，這些負例要比那些展示後未點選、未下單的樣本顯著的多。
3. 使用者畫像是刻畫使用者屬性的基礎資料，其中有些是直接獲取的原始資料，有些是經過挖掘的二次加工資料，比如使用者的聚類和向量化，這些屬性一方面可以用於候選集觸發過程中對deal進行加權或降權，另外一方面可以作為重排序模型中的使用者維度特徵。、

召回層（ReCall）

協同過濾

協同過濾（Collaborative Filtering）可說是推薦系統裡資歷最老最經典的一種演算法了，如 userCF、itemCF。原理是基於使用者對內容的行為協同，為某一使用者沒有看過的某條內容作出點選預測。實現方法有很多種，如傳統的 Memory-based 方法、基於矩陣分解的方法（LFM/SVD/SDV++）、基於 DNN 的方法。

Memory-based 方法很簡單，是基於統計的一種演算法。以 item-based CF 舉例：

根據使用者點選行為，我們可以統計出 item-item 的共現矩陣（矩陣單元內為 item i 與 item j 共同被使用者點選的次數），再依此通過Jaccard相似度/餘弦相似度/歐氏距離得出 item 相似度矩陣，最後根據使用者的點選記錄檢索出 topK 相似的內容推薦給使用者。在計算過程中需要考慮一些因素，比如熱門物品對相似度計算的影響、不同傾向的使用者的影響等等。

然而 Memory-based 方法不能解決的問題是，當我們的矩陣很稀疏時，大多數 item 和 item 之間是沒有關聯的（相似度為0），這也就造成最後我們召回的內容覆蓋率很低，也許大多集中在頭部內容。於是基於矩陣分解的方法誕生了。

MF（Matrix Factorization）的原理是將一個高維稀疏矩陣分解成兩個低秩矩陣，其中 k 被稱為隱向量維度。在原始的稀疏矩陣 R 中，大部分二階特徵的關係係數是缺失的。而通過訓練模型最小化 R 和預測矩陣 R‘ 的損失（如最小二乘），可以求出任意 Ri,j 的值。

MF 可說是大部分推薦系統裡協同過濾的標杆方法了，但仍然存在一些問題。比如過於稀疏的矩陣對於最後評分的預測依然有很大影響，並且當用戶特徵或者內容特徵缺失（即冷啟動）時，無法進行合理的預測。此時，基於深度學習的一些嘗試開始了。如基於DNN實現，可以很輕易地將內容的一些語義特徵，以及使用者的固有屬性與行為特徵拼接在一起作為神經網路輸入來訓練，可以在之前行為協同的前提下加入對內容特徵的學習，從而解決冷啟動問題。感興趣的同學可以閱讀相關論文，在此不做展開。

基於內容的召回

主要是以之前 NLP 得到的內容畫像為基礎，以item 對應分類/主題/關鍵詞的權重建立召回，依據使用者畫像的相應權重和內容畫像的距離排序召回。

基於使用者群

首先我們需要對使用者分群，聚類的方案有很多，

　　1、對item進行向量化（w2v）然後對item進行聚類，使用者對item的行為就可以把item的簇賦值到user身上。

　　2、直接對使用者進行向量化，比如降維。

總之最終的目的就是將使用者embedding成一個向量，然後在對使用者向量進行聚類，一般k-means就可以勝任大部分的場景。

倒排鏈

tag-itemList，對每個使用者的tag進行遍歷，然後通過倒排鏈快速找到含有該tag的itemList然後topN抽取。

子策略融合

為了結合不同觸發演算法的優點，同時提高候選集的多樣性和覆蓋率，需要將不同的觸發演算法融合在一起。常見的融合的方法有以下幾種[3]：

1. 加權型：最簡單的融合方法就是根據經驗值對不同演算法賦給不同的權重，對各個演算法產生的候選集按照給定的權重進行加權，然後再按照權重排序。
2. 分級型：優先採用效果好的演算法，當產生的候選集大小不足以滿足目標值時，再使用效果次好的演算法，依此類推。
3. 調製型：不同的演算法按照不同的比例產生一定量的候選集，然後疊加產生最終總的候選集。
4. 過濾型：當前的演算法對前一級演算法產生的候選集進行過濾，依此類推，候選集被逐級過濾，最終產生一個小而精的候選集合。

目前我們使用的方法集成了調製和分級兩種融合方法，不同的演算法根據歷史效果表現給定不同的候選集構成比例，同時優先採用效果好的演算法觸發，如果候選集不夠大，再採用效果次之的演算法觸發，依此類推。

模型排序（Ranking）

       如上所述，對於不同演算法觸發出來的候選集，只是根據演算法的歷史效果決定演算法產生的item的位置顯得有些簡單粗暴，同時，在每個演算法的內部，不同item的順序也只是簡單的由一個或者幾個因素決定，這些排序的方法只能用於第一步的初選過程，最終的排序結果需要藉助機器學習的方法，使用相關的排序模型，綜合多方面的因素來確定。

1、模型選擇和比較　　

　　非線性模型能較好的捕捉特徵中的非線性關係，但訓練和預測的代價相對線性模型要高一些，這也導致了非線性模型的更新週期相對要長。反之，線性模型對特徵的處理要求比較高，需要憑藉領域知識和經驗人工對特徵做一些先期處理，但因為線性模型簡單，在訓練和預測時效率較高。因此在更新週期上也可以做的更短，還可以結合業務做一些線上學習的嘗試。在我們的實踐中，非線性模型和線性模型都有應用。

非線性模型　　

       目前我們主要採用了非線性的樹模型gbdt，相對於線性模型，非線性模型可以更好的處理特徵中的非線性關係，不必像線性模型那樣在特徵處理和特徵組合上花費比較大的精力。gbdt是一個加性模型，由很多個樹組成，後面的樹不斷擬合前一顆樹的殘差，而且每一個樹帶入的都是全訓練集，由此可以減小過擬合的影響。後續的文章會單獨總結gbdt的應用和落地細節、公式推導、面試問點等細節.

線性模型

　　目前應用比較多的線性模型非Logistic Regression莫屬了。為了能實時捕捉資料分佈的變化，我們引入了online learning，接入實時資料流，使用google提出的FTRL[5]方法對模型進行線上更新。後續也會單獨寫一篇FTRL的應用、特徵、落地、面試問點等細節。

主要的步驟如下：

• 線上寫特徵向量到HBase
• Storm解析實時點選和曝光日誌流，改寫HBase中對應特徵向量的label
• 通過FTRL更新模型權重
• 將新的模型引數應用於線上

2. 資料

• 取樣：對於點選率預估而言，正負樣本嚴重不均衡，所以需要對負例做一些取樣。 
• 負例：正例一般是使用者產生點選、下載、分享等轉換行為的樣本，但是使用者沒有轉換行為的樣本是否就一定是負例呢？其實不然，很多展現其實使用者根本沒有看到，所以把這樣樣本視為負例是不合理的，也會影響模型的效果。比較常用的方法是skip-above，即使用者點選的item位置以上的展現才可能視作負例。當然，上面的負例都是隱式的負反饋資料，除此之外，我們還有使用者主動刪除的顯示負反饋資料，這些資料是高質量的負例。
• 去噪：對於資料中混雜的刷單等類作弊行為的資料，要將其排除出訓練資料，否則會直接影響模型的效果。

3. 特徵

在我們目前的重排序模型中，大概分為以下幾類特徵：

• item維度的特徵：主要是item本身的一些屬性，包括category、pv、ctr、sub-category、tag等
• user維度的特徵：包括使用者等級、使用者的人口屬性、使用者的客戶端型別等
• user、deal的交叉特徵：包括使用者對item的category的點選、收藏等

對於非線性模型，上述特徵可以直接使用；而對於線性模型，則需要對特徵值做一些分桶、歸一化等處理，使特徵值成為0~1之間的連續值或01二值。
 

推薦系統架構面試問題總結

1、推薦系統的架構流程圖和每一個模組的作用一定要了解，一般會讓你一邊畫流程圖一邊講解每個模組。

2、召回模組一般就是在做候選集篩選和粗排序，原因是item太多了，一個user的請求過來線上系統不能在100ms以內對所有的item進行排序。

本文轉自redbear部落格：

https://www.cnblogs.com/redbear/p/8594939.html