1. 程式人生 > >推薦系統的評價指標

推薦系統的評價指標

大部分的推薦系統都採用推薦預測的準確度衡量推薦演算法的優劣,目前使用較多的準確度指標有預測準確度、分類準確度和排序準確度,輔助評價指標如流行性、多樣性等。

預測準確度

主要思想:將推薦系統產生的預測評分與使用者真實評分進行相似度匹配。

經典方法:平均絕對誤差(MAE)

分類準確度

用於判斷一個使用者對推薦系統的物件是否滿意的比例,不關心演算法評分正確與否。

常用指標:準確率、召回率、F指標。

準確率:反映使用者喜歡被推薦物品的程度

召回率:反映推薦物品覆蓋使用者喜歡物品的程度。

比如,我們給使用者推薦5個物品REC{a,s,d,f,g},使用者實際喜歡的是T{c,d,v,f},那麼推薦的評測指標就是,推薦的物品是不是使用者喜歡的?所佔比例是多少?

REC與T的交集是{d,f},佔所推薦5個物品的40%,佔用戶喜歡物品的50%,因此準確率就是40%,召回率就是50%。

一般推薦的東西越多,越可能覆蓋使用者喜歡的物品,召回率會提高,但犧牲了準確率,因此要平衡二者的關係,如F準則.

在搜尋方面,要保證召回率,提高準確率;在反垃圾、疾病監測方面,要保證準確率,提高召回率。

F準則

           

排列準確度

用來衡量執行推薦演算法後,預測系統生成的物件推薦表滿足使用者對資源物件實際排序的能力,

適用場合:需要評價給目標使用者推薦一個排序列表的系統

度量方法:平均排序分,排序分越小說明系統趨向於把使用者喜歡的產品排在前面。平均排序分越小越精確。