目標檢測一些常用的評價指標
最近在趕一篇關於路面標線檢測的論文，博文的更新暫停了一段時間。在論文中需要定量地分析目標檢測演算法的優劣，特在此總結一些常用的評價指標。
1. PR曲線(Precision&Recall)
首先需要了解幾個概念。
True positive(TP): 預測為positive ground truth為True
True negative(TN): 預測為positive 但ground truth 為negative
False positive(FP): 預測為positive 但ground truth 為negative
False negative(FN): 預測為negative ground truth也為False
precision: 查準率，指預測為positive中，ground truth是positive所佔的比例 （TP/(TP+FP)），該值越大越好，1為理想狀態
recall: 查全率，指所有的True樣本中，預測為positive所佔的比例（TP/(TP+FN)），該值越大越好，1為理想狀態
F1-score: 將precision 和recall合成一個指標，越大越好
accuracy: 所有預測結果與實際結果一樣的樣本/所有樣本
FP Rate(FPR): false positive佔整個negative的比例，就是說原本是negative 預測為positive的比例，越小越好
TP Rate(TPR)
PR曲線：(precision,recall)曲線，越凸向右上方效果越好
AP：PR曲線下的面積
AUC： Area Under the Curve 是一個抽象的概念，並不單指ROC曲線下的面積
通過計算每個樣本的TP, FP, TN, FN的值，得到每個樣本對應的(P, R)值對，從而可以繪製PR曲線圖。PR曲線的一般趨勢是向右上方凸起的一條曲線，最右上方凸起點成為平衡點，該點的p、r座標值越大越好，表示檢測器效能在該點達到平衡狀態，既保證高精確度又保證高召回率。此外，F1-score的計算公式為F1 = 2 * p * r* (p+r)
2. ROC曲線(receiver operating characteristic)
ROC曲線是一種描述靈敏度的評價指標。ROC曲線可以通過計算樣本的真陽性率TPR和假陽性率FPR得到，因此ROC曲線也叫做相關操作特徵曲線。與PR曲線相反，ROC 曲線的趨勢是向左上角凸起的一條曲線，如下圖。評價兩條ROC曲線的效能優劣，通常計算曲線下方包含的面積AUC，面積越大則代表檢測器效能越好。
3. MAP(Mean Average Precision), AP(Average Precision)
AP通常用於計算平均的檢測精度，用於衡量檢測器在每個類別上的效能好壞；而MAP則更多用於評價多目標的檢測器效能，衡量檢測器在所有類別上的效能好壞，即得到每個類別的AP值後再取所有類別的平均值。假設N個樣本中有M個positive的正例，那麼我們就會得到M個recall值(1/M,2/M,3/M......M/M)，對於每個recall值r，我們可以計算出對應r'>r的最大的precision值，然後對這M個precision 值取平均即得到最後的AP值。計算過程如下表所示：
此時的PR曲線為：
關於目標檢測相關的評價指標就總結到這裡，後續有需要會繼續補充。