1. 程式人生 > >評估指標:ROC,AUC,Precision、Recall、F1-score

評估指標:ROC,AUC,Precision、Recall、F1-score

rect errors cor http mis dict edi 技術 評價

一、ROC,AUC

ROC(Receiver Operating Characteristic)曲線和AUC常被用來評價一個二值分類器(binary classifier)的優劣 。

技術分享圖片

ROC曲線一般的橫軸是FPR,縱軸是FPR。AUC為曲線下面的面積,作為評估指標,AUC值越大,說明模型越好。如下圖:

技術分享圖片

二、Precision、Recall、F1-score

Terminology and derivations
from a confusion matrix
true positive (TP)
eqv. with hit
true negative (TN)
eqv. with correct rejection
false positive (FP)
eqv. with false alarm, Type I error
false negative (FN)
eqv. with miss, Type II error

sensitivity or true positive rate (TPR)
eqv. with hit rate, recall
技術分享圖片
specificity (SPC) or true negative rate (TNR)
技術分享圖片
precision or positive predictive value (PPV)
技術分享圖片
negative predictive value (NPV)
技術分享圖片
fall-out or false positive rate (FPR)
技術分享圖片
false discovery rate (FDR)
技術分享圖片
miss rate or false negative rate (FNR)
技術分享圖片

accuracy (ACC)
技術分享圖片
F1 score
is the harmonic mean of precision and sensitivity
技術分享圖片
Matthews correlation coefficient (MCC)
技術分享圖片

Informedness = Sensitivity + Specificity - 1
Markedness = Precision + NPV - 1

中文解釋

技術分享圖片技術分享圖片技術分享圖片

評估指標:ROC,AUC,Precision、Recall、F1-score