1. 程式人生 > >機器學習模型準確率,精確率,召回率,F-1指標及ROC曲線

機器學習模型準確率,精確率,召回率,F-1指標及ROC曲線

01準確率,精確率,召回率,F-1指標及ROC曲線
假設原樣本有兩類,正樣本True和負樣本False
正樣本 -------------------------------True
負樣本 --------------------------------False
真 正樣本 True Positive(TP)----------將正類預測為正類
真 負樣本 True Negative(TN)--------將負類預測為負類
假正樣本-------負樣本---------False Positive(FP)-------將負類預測為正類
假負樣本----------正樣本--------False Negative(FN)-----將正類預測為負類
在這裡插入圖片描述


1.準確率(accuracy)計算公式
在這裡插入圖片描述 被分對的樣本個數除以總的樣本個數
注:準確率是最常見的評價指標,通常來說,正確率越高,分類器越好
2.精確率(Precision)
精確率定義為: 預測的正樣本中正樣本所佔的比率
在這裡插入圖片描述
3.召回率(Recall):實際的正樣本中正樣本被分為正例的比率
在這裡插入圖片描述
4.綜合評價指標F-1
在這裡插入圖片描述
注:可知F1綜合了P和R的結果,當F1較高時則能說明試驗方法比較有效。
5.ROC曲線和AUC
ROC曲線是以假正率(FP_rate)真正率(TP_rate)為軸的曲線,ROC曲線下面的面積我們叫做AUC
在這裡插入圖片描述
所有的負樣本中,被預測為正樣本的比率
在這裡插入圖片描述
所有的正樣本中,被預測為正樣本的比率

在這裡插入圖片描述
AUC = 1,是完美分類器,採用這個預測模型時,不管設定什麼閾值都能得出完美預測。絕大多數預測的場合,不存在完美分類器。
  0.5 < AUC < 1,優於隨機猜測。這個分類器(模型)妥善設定閾值的話,能有預測價值。
  AUC = 0.5,跟隨機猜測一樣,模型沒有預測價值。
  AUC < 0.5,比隨機猜測還差;但只要總是反預測而行,就優於隨機猜測。