1. 程式人生 > >機器學習效能指標(ROC、AUC、)

機器學習效能指標(ROC、AUC、)

混淆矩陣

  1. TP(真正樣本數): 預測是正樣本(positive),預測正確(ture)的個數,即實際是正樣本預測成正樣本的樣本數
  2. FN(假負樣本數)
  3. TN(真負樣本數)
  4. FP(假正樣本數)

ROC

  1. 橫軸:FPR(負正樣本率)=FP/(FP+TN) 即,預測錯的原本負樣本佔總體負樣本的比例
  2. 縱軸:TPR(真正樣本率)=TP/(TP+FN) 即,預測對的原本正樣本佔總體正樣本的比例

橫軸越小越好,縱軸越大越好,即,ROC曲線在斜對角線以下,則表示該分類器效果差於隨機分類器,反之,效果好於隨機分類器,當然,我們希望ROC曲線儘量除於斜對角線以上,也就是向左上角(0,1)凸。

AUC

ROC下的面積,即,AUC量化了ROC曲線的分類能力,越大分類效果越好,輸出概率越合理

  • AUC = 1,代表完美分類器
  • 0.5 < AUC < 1,優於隨機分類器
  • 0 < AUC < 0.5,差於隨機分類器