在機器學習中，模型評估涉及許多方法和名次，在此將其彙總一下，方便以後溫習。

一 分類 (Classification)：真假與正類負類

a.  真正例(TP) 是指模型將正類別樣本正確地預測為正類別。

b.  真負例(TN) 是指模型將負類別樣本正確地預測為負類別。

c.   假正例(FP) 是指模型將負類別樣本錯誤地預測為正類別。

d.  真負例(FN) 是指模型將負類別樣本正確地預測為負類別。

我們可以使用一個 2x2 混淆矩陣來總結我們的“狼預測”模型，該矩陣描述了所有可能出現的結果（共四種）：

二  分類 （Classification）：精確率

1 準確率 是指我們的模型預測正確的結果所佔的比。

準確率是一個用於評估分類模型的指標，正式點說，準確率的定義如下：

讓我們來試著計算一下以下模型的準確率，該模型將100 個腫瘤分為惡性 （正類別）或良性（負類別）：

準確率為 0.91，即 91%（總共100個樣本中有91個預測正確）。這表示我們的腫瘤分類器在識別惡性腫瘤方面表現得非常出色，對吧？

實際上，只要我們仔細分析一下正類別和負類別，就可以更好地瞭解我們模型的效果。

在100 個腫瘤樣本中91個為良性（90個TN 和1個FP），9 個為惡性（1 個 TP 和 8 個 FN）。

在91 個良性腫瘤中，該模型將 90 個正確識別為良性。這很好。不過，在 9 個惡性腫瘤中，該模型僅將 1 個正確識別為惡性。這是多麼可怕的結果！9 個惡性腫瘤中有 8 個未被診斷出來！

雖然 91% 的準確率可能乍一看還不錯，但如果另一個腫瘤分類器模型總是預測良性，那麼這個模型使用我們的樣本進行預測也會實現相同的準確率（100 箇中有 91 個預測正確）。換言之，我們的模型與那些沒有預測能力來區分惡性腫瘤和良性腫瘤的模型差不多。

當您使用分類不平衡的資料集（比如正類別標籤和負類別標籤的數量之間存在明顯差異）時，單單準確率一項並不能反映全面情況。

由此，引出了精確率和召回率兩個概念，他們能很好的評估分類不平衡問。

三 分類 (Classification)：精確率和召回率

1 精確率

精確率指標嘗試回答以下問題：

在被識別為正類別的樣本中，確實為正類別的比例是多少？

精確率的定義如下：

讓我們來計算一下上一部分中用於分析腫瘤的機器學習模型的精確率：

2 召回率

召回率嘗試回答以下問題：

在所有正類別樣本中，被正確識別為正類別的比例是多少？

從數學上講，召回率的定義如下：

讓我們來計算一下腫瘤分類器的召回率：

3 精確率和召回率：一場拔河比賽

要全面評估模型的有效性，必須同時

由此可見：

1 提高分類閾值，精確率可能會提高（因為FP可能會減小）；召回率會下降或保持不變（因為TP會減少或不變，且FN會增加或不變）

2 降低分類閾值，精確率可能會下降（因為FP可能會增加），而召回率（FN可能會減少）可能會有所提高

四 分類 (Classification)：ROC和曲線下面積

1 ROC 曲線

ROC 曲線（接收者操作特徵曲線）是一種顯示分類模型在所有分類閾值下的效果的圖表。該曲線繪製了以下兩個引數：

• 真正例率
• 假正例率

ROC 曲線用於繪製採用不同分類閾值時的 TPR 與 FPR。降低分類閾值會導致將更多樣本歸為正類別，從而增加假正例和真正例的個數。下圖顯示了一個典型的 ROC 曲線。

為了計算 ROC 曲線上的點，我們可以使用不同的分類閾值多次評估邏輯迴歸模型，但這樣做效率非常低。幸運的是，有一種基於排序的高效演算法可以為我們提供此類資訊，這種演算法稱為曲線下面積。

2 曲線下面積：ROC 曲線下面積

曲線下面積表示“ROC曲線下面積”。也就是說，曲線下面積測量的是從 (0,0) 到 (1,1) 之間整個 ROC 曲線以下的整個二維面積（參考積分學）

曲線下面積對所有可能的分類閾值的效果進行綜合衡量。曲線下面積的一種解讀方式是看作模型將某個隨機正類別樣本排列在某個隨機負類別樣本之上的概率。以下面的樣本為例，邏輯迴歸預測從左到右以升序排列：

曲線下面積表示隨機正類別（綠色）樣本位於隨機負類別（紅色）樣本右側的概率。

曲線下面積的取值範圍為 0-1。預測結果 100% 錯誤的模型的曲線下面積為 0.0；而預測結果 100% 正確的模型的曲線下面積為 1.0。

曲線下面積因以下兩個原因而比較實用：

• 曲線下面積的尺度不變。它測量預測的排名情況，而不是測量其絕對值。
• 曲線下面積的分類閾值不變。它測量模型預測的質量，而不考慮所選的分類閾值。

不過，這兩個原因都有各自的侷限性，這可能會導致曲線下面積在某些用例中不太實用：

• 並非總是希望尺度不變。 例如，有時我們非常需要被良好校準的概率輸出，而曲線下面積無法告訴我們這一結果。
• 並非總是希望分類閾值不變。 在假負例與假正例的代價存在較大差異的情況下，儘量減少一種型別的分類錯誤可能至關重要。例如，在進行垃圾郵件檢測時，您可能希望優先考慮儘量減少假正例（即使這會導致假負例大幅增加）。對於此類優化，曲線下面積並非一個實用的指標。

有興趣的還可以翻看一下我的前一篇文章： 機器學習之特徵工程