1. 程式人生 > >機器學習演算法-模型評價指標

機器學習演算法-模型評價指標

二分類模型指標

  • 混淆矩陣

cm

TP(實際為正預測為正),FP(實際為負但預測為正),TN(實際為負預測為負),FN(實際為正但預測為負)

  • 準確率 Accuracy=TP+TNTP+FP+TN+FN

  • 查全率(召回率)和查準率 Recall(Sensitivity)=TPTP+TN Precision=TPTP+FP Specificity=TNFP+TN

  • F1度量—查準率和查全率的加權調和平均數

    F1Score=11/Recall+1/Precision=2×Recall×PrecisionRecall+Precision

  • G度量幾何平均數 G=Precision×Recall

  • ROC曲線, AUC ROC曲線描繪的是不同的截斷點時,並以FPR(False Positive Rate)和TPR(True Positive Rate)為橫縱座標軸,描述隨著截斷點的變小,TPR隨著FPR的變化。 縱軸:

    TPR=TPTP+FN=Recall 橫軸:FPR=FPFP+TN roc

  • KS曲線,KS值 KS曲線和ROC曲線都用到了TPR,FPR。KS曲線是把TPR和FPR都作為縱座標,而樣本數作為橫座標。 TPR和FPR曲線分隔最開的位置就是最好的”截斷點“,最大間隔距離就是KS值,通常>0.2即可認為模型有比較好偶的預測準確性

  • Lift 和Gain圖 Lift圖衡量的是,與不利用模型相比,模型的預測能力“變好”了多少,lift(提升指數)越大,模型的執行效果越好。 Gain圖是描述整體精準度的指標。 Ga

    in=TPTP+FP List=TPTP+FPPP+N=GainPR

lift gain