對於二分類問題，機器預測的和實際的還是會有所偏差，所以我們引入以下幾個概念來評價分類器的優良。

一、TP、TN、FP、FN概念

首先有關TP、TN、FP、FN的概念。大體來看，TP與TN都是分對了情況，TP是正類，TN是負類。則推斷出，FP是把錯的分成了對的，而FN則是把對的分成了錯的。（我的記憶方法：首先看第一個字母是T則代表分類正確，反之分類錯誤；然後看P，在T中則是正類，若在F中則實際為負類分成了正的。）

【舉例】一個班裡有男女生，我們來進行分類，把女生看成正類，男生看成是負類。我們可以用混淆矩陣來描述TP、TN、FP、FN。

二、準確率、精確率（精準率）、召回率、F1值

1.準確率（Accuracy）。顧名思義，就是所有的預測正確（正類負類）的佔總的比重。

2.精確率（Precision），查準率。即正確預測為正的佔全部預測為正的比例。個人理解：真正正確的佔所有預測為正的比例。

3.召回率（Recall），查全率。即正確預測為正的佔全部實際為正的比例。個人理解：真正正確的佔所有實際為正的比例。

4.F1值。F1值為算數平均數除以幾何平均數，且越大越好，將Precision和Recall的上述公式帶入會發現，當F1值小時，True Positive相對增加，而false相對減少，即Precision和Recall都相對增加，即F1對Precision和Recall都進行了加權。

公式轉化之後為：

三、ROC曲線、AUC值

1.ROC曲線。接收者操作特徵曲線（receiver operating characteristic curve），是反映敏感性和特異性連續變數的綜合指標，ROC曲線上每個點反映著對同一訊號刺激的感受性。下圖是ROC曲線例子。

橫座標：1-Specificity，偽正類率(False positive rate，FPR，FPR=FP/(FP+TN))，預測為正但實際為負的樣本佔所有負例樣本的比例；

縱座標：Sensitivity，真正類率(True positive rate，TPR，TPR=TP/(TP+FN))，預測為正且實際為正的樣本佔所有正例樣本的比例。

在一個二分類模型中，假設採用邏輯迴歸分類器，其給出針對每個例項為正類的概率，那麼通過設定一個閾值如0.6，概率大於等於0.6的為正類，小於0.6的為負類。對應的就可以算出一組(FPR，TPR)，在平面中得到對應座標點。隨著閾值的逐漸減小，越來越多的例項被劃分為正類，但是這些正類中同樣也摻雜著真正的負例項，即TPR和FPR會同時增大。閾值最大時，對應座標點為(0,0)，閾值最小時，對應座標點(1,1)。

真正的理想情況，TPR應接近1，FPR接近0，即圖中的（0,1）點。ROC曲線越靠攏（0,1）點，越偏離45度對角線越好。

2.AUC值。AUC (Area Under Curve) 被定義為ROC曲線下的面積，顯然這個面積的數值不會大於1。又由於ROC曲線一般都處於y=x這條直線的上方，所以AUC的取值範圍一般在0.5和1之間。使用AUC值作為評價標準是因為很多時候ROC曲線並不能清晰的說明哪個分類器的效果更好，而作為一個數值，對應AUC更大的分類器效果更好。

從AUC判斷分類器（預測模型）優劣的標準：

• AUC = 1，是完美分類器，採用這個預測模型時，存在至少一個閾值能得出完美預測。絕大多數預測的場合，不存在完美分類器。
• 0.5 < AUC < 1，優於隨機猜測。這個分類器（模型）妥善設定閾值的話，能有預測價值。
• AUC = 0.5，跟隨機猜測一樣（例：丟銅板），模型沒有預測價值。
• AUC < 0.5，比隨機猜測還差；但只要總是反預測而行，就優於隨機猜測。

一句話來說，AUC值越大的分類器，正確率越高。

【參考文獻】

https://www.jianshu.com/p/c61ae11cc5f6

https://www.cnblogs.com/sddai/p/5696870.html

https://blog.csdn.net/xyzx043874/article/details/54969239

https://blog.csdn.net/weeeeeida/article/details/78906570