1. 程式人生 > >[轉載] 資訊檢索常用的評價指標(MAP,NDCG,ERR)

[轉載] 資訊檢索常用的評價指標(MAP,NDCG,ERR)

一、MAP

Precision(p):

準確率(精確度)是指檢索得到的文件中相關文件所佔的比例,公式如下:

precision=|{relevantdocuments}{retrieveddocuments}||{retrieveddocuments}|

precision@10表示檢索10個文件中包含相關所佔的比例,即:|{retrieveddocuments}|=10

Recall(R):

召回率是指所有相關文件中被檢索到的比例,公式如下:

recall=|{relevantdocuments}{retrieveddocuments}||{relevantdocuments}|

Average precision(AveP):

由前面可知,準確率和召回率都只能衡量檢索效能的一個方面,最理想的情況肯定是準確率和召回率都比較高。當我們想提高召回率的時候,肯定會影響準確率,所以可以把準確率看做是召回率的函式,即:P=f(R)

,也就是隨著召回率從0到1,準確率的變化情況。那麼就可以對函式P=f(R)R上進行積分,可以求P的期望均值。公式如下:

AveP=01P(r)dr=k=1nP(k)Δ(k)=k=1n(P(k)×rel(k))numberofrelevantdocuments

其中rel(k)表示第k個文件是否相關,若相關則為1,否則為0,P(k)表示前k個文件的準確率。 AveP的計算方式可以簡單的認為是:

AveP=1R×r=1Rrposition(r)

其中R表示相關文件的總個數,position(r)表示,結果列表從前往後看,第r個相關文件在列表中的位置。比如,有三個相關文件,位置分別為1、3、6,那麼