1. 程式人生 > >資訊檢索中常用的評價指標:MAP,nDCG,ERR,F-measure

資訊檢索中常用的評價指標:MAP,nDCG,ERR,F-measure

知識點文字檢索常用的評價指標:MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade models

而ROC曲線及其度量指標AUC主要用於分類和識別

一,MAP

Precision(P):

準確率(精確度)是指檢索得到的文件中相關文件所佔的比例,公式如下:

precision=|{relevantdocuments}{retrieveddocuments}||{retrieveddocuments}|
[email protected]表示檢索10個文件中包含相關所佔的比例,即:|{retrieved documents}| = 10。

Recall(R):

召回率是指所有相關文件中被檢索到的比例,公式如下:

recall=|{relevantdocuments}{retrieveddocuments}||{relevantdocuments}|

Average precision(AveP):

由前面可知,準確率和召回率都只能衡量檢索效能的一個方面,最理想的情況肯定是準確率和召回率都比較高。當我們想提高召回率的時候,肯定會影響準確率,所以可以把準確率看做是召回率的函式,即:P=f(R),也就是隨著召回率從0到1,準確率的變化情況。那麼就可以對函式P=f(R)R上進行積分,可以求P的期望均值。公式如下:

AveP=10P(r)
dr=k=1nP(k)Δ(k)
=nk=1(P(k)×rel(k))numberofrelevantdocuments

其中rel(k)表示第k個文件是否相關,若相關則為1,否則為0,P(k)表示前k個文件的準確率。 AveP的計算方式可以簡單的認為是:

AveP=1R×r=1Rrposition(r)
其中R表示相關文件的總個數,position(r)表示,結果列表從前往後看,第r個相關文件在列表中的位置。比如,有三個相關文件,位置分別為1、3、6,那麼AveP=13×(11+23+36)。在程式設計的時候需要注意,位置和第i個相關文件,都是從1開始的,不是從0開始的。

AveP意義是在召回率從0到1逐步提高的同時,對每個R位置上的P進行相加,也即要保證準確率比較高,才能使最後的AveP比較大。

Mean average precision(MAP):

通常會用多個查詢語句來衡量檢索系統的效能,所以應該對多個查詢語句的AveP求均值(the mean of average precision scores),即公式:

MAP=Qq=1AveP(q)Q

二,nDCG

在MAP計算公式中,文件只有相關不相關兩種,而在nDCG中,文件的相關度可以分多個等級進行打分。

Cumulative Gain(CG):

表示前p個位置累計得到的效益,公式如下:

CGp=i=1preli
其中reli表示第i個文件的相關度等級,如:2表示非常相關,1表示相關,0表示無關,-1表示垃圾檔案。

Discounted cumulative gain(DCG):

由於在CGp的計算中對位置資訊不敏感,比如檢索到了三個文件相關度依次是{3,-1,1}和{-1,1,3},顯然前面的排序更優,但是它們的CG相同,所以要引入對位置資訊的度量計算,既要考慮文件的相關度等級,也要考慮它所在的位置資訊。假設每個位置按照從小到大的排序,它們的價值依次遞減,如:可以假設第i個位置的價值是1log2(i+1),那麼排在第i個位置的文件所產生的效益就是reli×1log2(i+1)=relilog2(i+1)。公式如下:

DCGp=i=1

相關推薦

資訊檢索常用評價指標MAP,nDCG,ERR,F-measure

知識點文字檢索常用的評價指標:MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade models 而ROC曲線及其度量指標AUC主要用於分類和識別 一

資訊檢索常用評價指標整理 MAP nDCG ERR F-measure Precision Recall

相關文獻: learning to rank : https://en.wikipedia.org/wiki/Learning_to_rank#cite_note-13 MRR: https://en.wikipedia.org/wiki/Mean_reciprocal_rank

[轉載] 資訊檢索常用評價指標MAPNDCGERR

一、MAP Precision(p): 準確率(精確度)是指檢索得到的文件中相關文件所佔的比例,公式如下:precision=|{relevantdocuments}∩{retrieveddocuments}||{retrieveddocume

迴歸評價指標MSE、RMSE、MAE、R2、Adjusted R2

我們通常採用MSE、RMSE、MAE、R2來評價迴歸預測演算法。 1、均方誤差:MSE(Mean Squared Error) 其中,為測試集上真實值-預測值。 2、均方根誤差:RMSE(Root Mean Squard Error) 可以看出,RMSE=sqrt(M

機器學習算法評價指標(準確率、召回率、F值、ROC、AUC等)

html eight inf 曲線 mba cor 方法 指標 pan 參考鏈接:https://www.cnblogs.com/Zhi-Z/p/8728168.html 具體更詳細的可以查閱周誌華的西瓜書第二章,寫的非常詳細~ 一、機器學習性能評估指標 1.準確率(A

機器學習演算法評價指標(準確率、召回率、F值、ROC、AUC等)

參考連結:https://www.cnblogs.com/Zhi-Z/p/8728168.html 具體更詳細的可以查閱周志華的西瓜書第二章,寫的非常詳細~ 一、機器學習效能評估指標 1.準確率(Accurary)   準確率是我們最常見的評價指標,而且很容易理解,就是被分對的樣本

常用演算法設計窮舉法、分治法、動態規劃、貪心法、回溯法和分支限界法

演算法設計之六種常用演算法設計方法 1.直接遍歷態(窮舉法)        程式執行狀態是可以遍歷的,遍歷演算法執行每一個狀態,最終會找到一個最優的可行解;適用於解決極小規模或者複雜度線性增長,而線

機器學習評價指標--1[F,P,R]

機器學習中的評價指標 關於這一部分,我將在遇到的時候,進行簡要的說明和介紹,之講解最重點的部分,其它的可以查閱相關文獻和博主的文章。 1.關於 P、R 值 這應該是機器學習中最常用的兩個統計量了,我們要計算它,無非就要計算混淆矩陣,最簡化的版本是下面的4項版本

機器學習分類演算法常用評價指標

# -*- coding: utf-8 -*- import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn import metrics import matplotlib.pyplot as p

機器學習常見評價指標AUC、Precision、Recall、F-measure、Accuracy

1、AUC的計算    AUC是一個模型評價指標,用於二分類模型的評價。AUC是“Area under Curve(曲線下的面積)”的英文縮寫,而這條“Curve(曲線)”就是ROC曲線。    為什麼要用AUC作為二分類模型的評價指標呢?為什麼不直接通過計算準確率來對模型進

分類問題的常用評價指標precision和recall

對於二分類問題常用的評價指標是精確率(precision)以及召回率(recall)。通常,以關注的類為正類,其他的類為負類。則在預測的時候會有如下四種情況:TP——將正類預測為正類的數量FN——將正類預測為負類的數量FP——將負類預測為正類的數量TN——將負類預測為負類的數

迴歸評價指標均方誤差根(RMSE)和R平方(R2)

做迴歸分析,常用的誤差主要有均方誤差根(RMSE)和R-平方(R2)。 RMSE是預測值與真實值的誤差平方根的均值。這種度量方法很流行(Netflix機器學習比賽的評價方法),是一種定量的權衡方法。 ””’ 均方誤差根 ”’ def rmse(y_te

深度學習評價指標

0 分類問題評價指標 根據分類器在測試資料集上的預測或正確或不正確可以分為四種情況: TP——將正類預測為正類數 FN——將正類預測為負類數 FP——將負類預測為正類數 TN——將負類預測為負類數 記憶方法: T=True=+1      

STL常用的vector,map,set,sort 用法

1. push_back()   在陣列的最後新增一個數據 2. pop_back()    去掉陣列的最後一個數據 3. at()               得到編號位置的資料 4. begin()           得到陣列頭的指標 5. end()             得

深度學習常用評價指標

評價指標:   準確率 (Accuracy),混淆矩陣 (Confusion Matrix),精確率(Precision),召回率(Recall),平均正確率(AP),mean Average Precision(mAP),交除並(IoU),ROC + AUC,非極大值抑制

STL 常用的 vector,map,set,sort 用法

STL中的常用的vector,map,set,sort,pair用法 C++的標準模板庫(Standard Template Library,簡稱STL)是一個容器和演算法的類庫。容器往往包

目標檢測準確率評價指標

caffe中實現SSD準確率評價方法是TestDetection()函式。mAp指標值是每個類別的Average precision的平均值。在計算Average Precision之前需要先計算出所有預測框與gt_bboxes的匹配。SSD evaluation  laye

深度學習評價指標準確率、精確率、回召率、 F-1 Score、ROC、AUC

參考:連結:https://www.jianshu.com/p/4dde15a56d44 1、從二分類評估指標說起 1.1 混淆矩陣 我們首先來看一下混淆矩陣,對於二分類問題,真實的樣本標籤有兩類,我們學習器預測的類別有兩類,那麼根據二者的類別組合可以劃分為四組,如下表

資訊競賽常用的位運算方法

1.獲得一個數二進位制表示中的最後一位1所代表的數字: 用途:多用於樹狀陣列. 使用方法:假設這個數為x,則這個數二進位制表示中的最後一位1所代表的數字通過"x&-x"即可求得. 2.以相對

資訊檢索的特徵空間變化

一、背景及概述    對於一篇文章或者是一段文字資訊,我們想要獲取其中的關鍵資訊,如果是中文,我們首先要對其進行分詞的預處理,中文分詞有很多開源的技術,如python就有結巴模組用來做中文分詞,網上有很多部落格詳細講解,這邊不是我們這部分工作的重點內容,在這裡就不詳細講解了。