理解分類模型評價指標AUC

阿新 • • 發佈：2018-12-11

ROC(Receiver Operating Characteristic) 受試者工作特性曲線

縱軸TPR(真正例率)和橫軸FPR(假正例率)分別為

$TPR=\frac{TP}{TP+FN}$

$FPR=\frac{FP}{FP+TN}$

對於二分類問題，預測模型會對每一個樣本預測一個概率p。然後，可以選取一個閾值t，讓p>t的樣本預測為正，反之為負。這樣一來，根據預測的結果和實際的樣本標籤可以把樣本分為4類

	實際正樣本	實際負樣本
預測為正	TP(真正例)	FP(假正例)
預測為負	FN(假負例)	TN(真負例)

若一個學習器的ROC曲線被另一個學習器的曲線完全“包住”，則可以斷言後者的效能優於前者；若兩個學習器發生交叉，則難以斷言哪個好哪個差，此時較為合理的評判標準是ROC下的面積，即AUC。

AUC(Area Under ROC Curve) ROC曲線下的面積

AUC的幾何意義：

對ROC曲線下的各部分面積求和得到。

AUC的概率意義：

隨機取出一個正樣本和一個負樣本，放入分類器中進行判別輸出相應的為正的概率。

那麼（正樣本為正的概率）＞（負樣本為正的概率）的可能性即AUC。

記P為出現（正樣本為正的概率）＞（負樣本為正的概率）的可能的次數

一堆已知正負的樣本（假設正樣本M個，負樣本N個）

隨機取一對正負樣本的可能性有M*N對，則AUC=P/M*N。

接下來就是求P。

求出所有樣本放入分類器後產生其可能為正的概率，對這個概率進行降序排列

記rank_x為在整個(M+N)中輸出概率排名為rank_x的正樣本的秩，x是單純在正樣本輸出概率中進行升序排列的秩。

則在這個樣本排名

之後（比此樣本概率小）正樣本有M-X個，

之前（比此樣本概率大）有M-(M-X)-1=X-1個;

之前的負樣本有(M+N-rank_x)-(X-1),

之後的負樣本有N-[(M+N-rank_x)-(X-1)]=rank_x-(M-X+1)。

P就是所有（正樣本為正的概率）＞（負樣本為正的概率）的可能組合個數，

以上訴例子來講，就是對M個正樣本而言，每次比較排名在它之後的樣本個數

$P=\sum_{X=1}^{M}rank_x-(M-X+1)$

後面那項是等差數列，代入AUC公式化簡一下就是知乎博主小小丘貼出的最後公式

$AUC=\frac{\sum_{ins_{i}\in positiveclass}rank_{ins_{i}}-\frac{M*(M+1)}{2}}{M*N}$

參考：

小小丘知乎答案

周志華的西瓜書

理解分類模型評價指標AUC

ROC(Receiver Operating Characteristic) 受試者工作特性曲線縱軸TPR(真正例率)和橫軸FPR(假正例率)分別為對於二分類問題，預測模型會對每一個樣本預測一個概率p。然後，可以選取一個閾

二分類模型評價指標-AUC

AUC的含義和計算***** AUC針對二分類模型效果進行評價，二分類模型有時可能得到的是一個概率值，這個概率值表明為（0或1類）的可能性（不同於決策樹分類，我們會直接得到一個確切分類），我們劃定一個具體概率值p，大於則為正，小於則為負，然後使用acc或其他指標評價，其實這樣做有很大漏洞

快速理解分類模型評估指標

一、從混淆矩陣說起我們以二分類模型來舉例，假設我們要預測使用者在借款之後是否會逾期。對於我們的預測來說，有逾期/不逾期兩種結果。對於真實情況，同樣有逾期/不逾期兩種結果。我們以逾期為正例，以不逾期為反例，將預測結果與真實結果進行列聯交叉，就生成了混淆矩陣

二分類模型評價指標-Sklearn

Sklearn的metrics模組下有多個計算模型評價指標的函式，本文只介紹二分類的指標函式。 1.準確率 1.1引數說明 sklearn.metrics.accuracy_score(y_true, y_pred, normalize=T

【機器學習】機器學習分類器模型評價指標機器學習分類器模型評價指標

機器學習分類器模型評價指標分類器評價指標主要有： 1，Accuracy 2，Precision 3，Recall 4，F1 score 5，ROC 曲線

機器學習（十四）輕鬆理解模型評價指標

篇首語相信大家都知道下面的圖片是啥意思，每個無論在啥公司、無論哪個行業都有自己的KPI評價指標，公司會根據公司情況設定公司戰略KPI、部門KPI、以及每個人的指標，對於員工也是比較關心自己的KPI因為關係著你

分類器評價指標--ROC曲線及AUC值

ROC和AUC介紹以及如何計算AUC ROC（Receiver Operating Characteristic）曲線和AUC常被用來評價一個二值分類器（binary classifier）的優劣，對兩者的簡單介紹見這裡。這篇博文簡單介紹ROC和AUC的特點，以及更為深

ROC曲線與AUC--模型評價指標

ROC(Receiver Operating Characteristic) 主要分析工具是一個畫在二維平面上的曲線——ROC curve。平面的橫座標是 false positive rate(FPR)，縱座標是 true positive rate(TPR)。相關概念 True Positive R

分類器評價指標 ROC,AUC,precision，recall，F-score

ROC (Receiver Operating Characteristic) 曲線和 AUC (Area Under the Curve) 值常被用來評價一個二值分類器 (binary classifi

機器學習演算法-模型評價指標

二分類模型指標混淆矩陣 TP（實際為正預測為正），FP（實際為負但預測為正），TN（實際為負預測為負），FN（實際為正但預測為負）準確率 Accuracy=TP+TNTP+FP+TN+FNAccuracy=TP+TNTP+FP+

9.機器學習模型評價指標

　　1）正確率（accuracy）　　正確率是我們最常見的評價指標，accuracy = （TP+TN）/(P+N)，這個很容易理解，就是被分對的樣本數除以所有的樣本數，通常來說，正確率越高，分類器越好；　　2）錯誤率（error rate) 　　錯誤率則與正確

機器學習模型評價指標

　　1）正確率（accuracy）　　正確率是我們最常見的評價指標，accuracy = （TP+TN）/(P+N)，這個很容易理解，就是被分對的樣本數除以所有的樣本數，通常來說，正確率越高，分

R語言︱機器學習模型評價指標+（轉）模型出錯的四大原因及如何糾錯

筆者寄語：機器學習中交叉驗證的方式是主要的模型評價方法，交叉驗證中用到了哪些指標呢？交叉驗證將資料分為訓練資料集、測試資料集，然後通過訓練資料集進行訓練，通過測試資料集進行測試，驗證集進行驗證。模型預測

二分類模型評估指標的計算方法與程式碼實現

一、定義在研究評估指標之前，先給出分類結果混淆矩陣（confusion matrix）。預測真實正例反例正例 TP FN 反例 FP TN 1.準確率--accuracy 定義：對於給定的測試資料集，分類器正確分類的樣本數與總樣

機器學習模型評價指標及R實現

1.ROC曲線考慮一個二分問題，即將例項分成正類（positive）或負類（negative）。對一個二分問題來說，會出現四種情況。如果一個例項是正類並且也被預測成正類，即為真正類（True positive）,如果例項是負類被預測成正類，稱之為假正類（F

模型評估指標AUC（area under the curve）

AUC在機器學習領域中是一種模型評估指標。根據維基百科的定義，AUC(area under the curve)是ROC曲線下的面積。所以，在理解AUC之前，要先了解ROC是什麼。而ROC的計算又需要藉助混淆矩陣，因此，我們先從混淆矩陣開始談起。混淆矩陣

顯著性目標檢測模型評價指標（一）——平均絕對誤差：Mean Absolute Error(MAE)

顯著性目標檢測模型評價指標之平均絕對誤差(MAE)原理與實現程式碼目錄一、顯著性目標檢測簡介顯著性目標(Salient Object)：當我們在看一張圖片時，注意力首先會落在我們所感興趣的物體部分。比如我們看到一張畫有羊

4.4.2分類模型評判指標（一）

簡介混淆矩陣是ROC曲線繪製的基礎，同時它也是衡量分型別模型準確度中最基本，最直觀，計算最簡單的方法。一句話解釋版本：混淆矩陣就是分別統計分類模型歸錯類，歸對類的觀測值個數，然後把結果放在一個表裡展示出來。這個表就是混淆矩陣。資料分析與挖掘體系位置混淆矩陣是評判模型結果的指標

機器學習小白看過來，帶你全面瞭解分類器評價指標

AI 研習社按：為你的分類器選擇正確的評價指標十分關鍵。如果選不好，你可能會陷入這樣的困境：你認

目標檢測和分類的評價指標

評價指標：　　準確率（Accuracy），混淆矩陣（Confusion Matrix），精確率（Precision），召回率（Recall），平均正確率（AP），mean Average Precision(mAP)，交除並（IoU），ROC + AUC，非極大值抑制（N

理解分類模型評價指標AUC

相關推薦