1. 程式人生 > >Person Re-id:評價指標

Person Re-id:評價指標

評價指標:

1、rank-n: 搜尋結果中最靠前(置信度最高)的n張圖有正確結果的概率。

CMC曲線 :算一種top-k的擊中概率,主要用來評估閉集中rank的正確率。

例如: lable為m1,在100個樣本中搜索。

如果識別結果是m1、m2、m3、m4、m5……,則此時rank-1的正確率為100%;rank-2的正確率也為100%;rank-5的正確率也為100%;如果識別結果是m2、m1、m3、m4、m5……,則此時rank-1的正確率為0%;rank-2的正確率為100%;rank-5的正確率也為100%;如果識別結果是m2、m3、m4、m5、m1……,則此時rank-1的正確率為0%;rank-2的正確率為0%;rank-5的正確率為100%

當待識別的人臉集合有很多時,則採取取平均值的做法。

2、Recall:召回率 output為1中ground truth也為1的 佔output為1的概率

Precision:準確率 output為1中ground truth也為1的 佔ground truth為1的概率

F-score:recall和precision的調和平均數  2 * P * R / (P + R) 

PR曲線: 所有樣本的precision和recall繪製在圖裡

3、mAP : PR曲線下的面積

例如:query-id = 1,query-cam = 1,gallery共有5張圖,按照下圖方式計算出recall和precision,以recall為橫座標,precision為縱座標,繪製PR曲線,曲線下方面積即為AP,當需要檢索的不止一個人時,此時取所有人的平均mAP。

曲線下方面積計算方法有多種,例如 ap = ap + (recall - old_recall)*((old_precision+precision)/2);

AP衡量的是學出來的模型在單個類別上的好壞,mAP衡量的是學出的模型在所有類別上的好壞

4、CMC

CMC曲線就是算一種top-k的擊中概率。

對於single gallery shot來說,每一次query,對samples排序,找到匹配上id的gallery後,排除掉同一個camera下同一個id的sample,

5、ROC:

曲線上的每一點反映的是不同的閾值對應的FP(false positive)和TP(true positive)之間的關係。通常情況下,ROC曲線越靠近(0,1)座標表示效能越好。


TP : True Positive 預測為1,實際也為1;TN:True Nagetive 預測為0,實際也為0

FP:False Positive 預測為1,實際為0的;FN:False Nagetive 預測為0,實際為1的

TPR=TP/(TP+FN)=Recall。

FPR=FP/(FP+TN),FPR即為實際為好人的人中,預測為壞人的人佔比。

以FPR為x軸,TPR為y軸畫圖,就得到了ROC曲線。