精確率，查準率，召回率
精確率（Precision），又稱為“查準率”。
召回率（Recall），又稱為“查全率”。
召回率和精確率是廣泛用於資訊檢索和統計學分類領域的兩個度量值，用來評價結果的質量。其中召回率是是檢索出的相關文件數和文件庫中所有的相關文件數的比率，衡量的是檢索系統的查全率。精確率是檢索出的相關文件數與檢索出的文件總數的比率，衡量的是檢索系統的查準率。如以下公式所示：
召回率(Recall) = 系統檢索到的相關檔案 / 系統所有相關的檔案總數
精確率(Precision) = 系統檢索到的相關檔案 / 系統所有檢索到的檔案總數
1
2
3
下面這個例子可以有助於對精確率和召回率兩個概念的理解：
在一個數據庫中有1000個文件，其中有100個是與NBA相關的，系統檢索出75個文件，其中，只有50個是與NBA相關，此時：
精確率 = 50 / 75 = 67%
召回率 = 50 / 100 = 50%
上面的檢索為第一次檢索，同樣的環境下改變檢索技術後進行第二次檢索，系統檢索出150個文件，其中，90個是與NBA相關的，此時：
精確率 = 90 / 150 = 60%
召回率 = 90 / 100 = 90%
我們發現，精確率和召回率是互相影響的，理想情況下肯定是做到兩者都高，但是一般情況下準確率高、召回率就低，召回率低、準確率高，當然如果兩者都低，那是什麼地方出問題了。
F度量（F-measure），結合精確率和召回率。
基於上文，不難得出準確率與召回率兩者基本存在一種“互補”的關係，簡單描述就有點像天平的兩端，你大我小，或者你小我大（這個比喻可能不是非常嚴謹）。所以在具體的應用當中，我們應該以哪一個指標為主呢？有沒有一個綜合的指標涵蓋了這兩個指標呢？此時，就需要引出F度量。F值的計算公式如下：
F1=2∗P∗R/(P+R)
F1=2∗P∗R/(P+R)
結合上文的例子，利用上述公式計算得到，第一次檢索的F1為57%，第二次檢索的F1為72%，顯然改變技術後的檢索效果優於改變前。
Map（mean Average Precision）
mAP是為解決P，R，F-measure的單點值侷限性的。為了得到 一個能夠反映全域性效能的指標，可以看考察下圖，其中兩條曲線(方塊點與圓點)分佈對應了兩個檢索系統的精確率-召回率曲線。可以看出，雖然兩個系統的效能曲線有所交疊但是以圓點標示的系統的效能在絕大多數情況下要遠好於用方塊標示的系統。從中我們可以 發現一點，如果一個系統的效能較好，其曲線應當儘可能的向上突出。更加具體的，曲線與座標軸之間的面積應當越大。最理想的系統， 其包含的面積應當是1，而所有系統的包含的面積都應當大於0。
這就是用以評價資訊檢索系統的最常用效能指標，平均準確率mAP其規範的定義如下:(其中P，R分別為精確率與召回率)。
ROC（Receiver Operating Characteristic）
AUC（Area Under roc Curve）
ROC和AUC是評價分類器的指標，上面第一個圖的ABCD仍然使用，只是需要稍微變換。
回到ROC上來，ROC的全名叫做Receiver Operating Characteristic。
ROC關注兩個指標
True Positive Rate ( TPR ) = TP / [ TP + FN] ，TPR代表能將正例分對的概率
False Positive Rate( FPR ) = FP / [ FP + TN] ，FPR代表將負例錯分為正例的概率
在ROC 空間中，每個點的橫座標是FPR，縱座標是TPR，這也就描繪了分類器在TP（真正的正例）和FP（錯誤的正例）間的trade-off。ROC的主要分析工具是一個畫在ROC空間的曲線——ROC curve。我們知道，對於二值分類問題，例項的值往往是連續值，我們通過設定一個閾值，將例項分類到正類或者負類（比如大於閾值劃分為正類）。因此我們可以變化閾值，根據不同的閾值進行分類，根據分類結果計算得到ROC空間中相應的點，連線這些點就形成ROC curve。ROC curve經過（0,0）（1,1），實際上(0, 0)和(1, 1)連線形成的ROC curve實際上代表的是一個隨機分類器。一般情況下，這個曲線都應該處於(0, 0)和(1, 1)連線的上方。如圖所示。
用ROC curve來表示分類器的performance很直觀好用。可是，人們總是希望能有一個數值來標誌分類器的好壞。
於是Area Under roc Curve(AUC)就出現了。顧名思義，AUC的值就是處於ROC curve下方的那部分面積的大小。通常，AUC的值介於0.5到1.0之間，較大的AUC代表了較好的Performance。
---------------------
作者：yuanCruise
來源：CSDN
原文：https://blog.csdn.net/qiu931110/article/details/80197754
版權宣告：本文為博主原創文章，轉載請附上博文連結！