以前只知道測試效能的指標是：前K選識別率，以及ROC曲線。

前者表示鑑別效能，後者表示驗證效能。

今天才知道，監控中不是用這兩個指標來測試的。。。。

不知道的真太多了。。。

-----------------------------------------------

• 驗證效能

1. FAR、FRR、ERR

FAR: False Accept Rate

FRR: False Reject Rate

計算方法：設定一個分數閾值T，FAR=非同人分數>T/非同人比較的次數，FRR=同人比較分數<T/同人比較的次數。即FAR和FRR都是一個關於T的函式

一般，FAR=0.001時，FRR的值作為參考。值越小，效能越好。

EER：FAR=FRR時，對應的T值。

一般畫兩條曲線，看看交點。

2. FMR、FNMR

FMR: False Match Rate

Fraction of impostor comparisons that produce an similarity score greater than a threshold value

FNMR: False non-Match Rate

Fraction of genuine comparisons that produce a similarity score less than some threshold value

我的理解中FMR就是FAR，FNMR就是FRR。不同的叫法而已。—> 但這樣理解是錯誤的。

FAR = FMR * (1 – FTA)

FRR = FTA + FNMR * (1 – FTA) 

式中： FTA —— 採集失敗率

錯誤採集率 failure-to-acquire rate FTA: 在辨識或驗證的嘗試中，採集不到樣本或樣本質量無法達到要求的比例。

3. GFAR、GFRR

GFAR ：廣義誤接受率，Generalized false accept rate

GFRR ：廣義誤拒絕率，Generalized false reject rate

廣義上的錯誤拒絕發生在：

(i)測試物件沒有註冊，

(ii)不能提取提交的樣本，

(iii)存在錯誤匹配。

廣義上的錯誤接受和錯誤拒絕率將由下述公式給出：

GFAR = FMR * (1 – FTA) * (1 – FTE)^2

GFRR = FTE + (1 – FTE) * FTA + (1 – FTE) * (1 – FTA) * FNMR

式中：

FTE：註冊失敗率 failure-to-enroll rate

When single images are compared, (GFAR,GFRR) and (FMR,FNMR) will be equivalent if no failures are observed.

• 鑑別效能

1. 大庫檢索

前K選識別率

2. 視訊監控

FNIR: False negative identification rate

Fraction of searches that do not have an enrolled mate for which one or more candidate list entries exceed a threshold

錯誤拒絕辨識率：註冊使用者被系統錯誤辨識為其他註冊使用者的比例

設定分數閾值T，已註冊使用者進行比對時，分數>=T的樣本不存在

FPIR: False positive identification rate

Fraction of searches that have an enrolled mate for which the mate is below a threshold

錯誤接受辨識率：非註冊使用者被系統辨識為某個註冊使用者的比例

設定分數閾值T，未註冊使用者進行比對時，分數>=T的樣本存在

但如果測試樣本全部為入庫樣本，即閉集測試時，FPIR是沒法計算的。這時，採用下面的式子

FNIR = FTA + (10FTA) * FNMR (我不知道這個式子對不對)

FPIR = (1 - FTA) * (1 - (1 - FMR)^N)

式中： FTA —— 錯誤採集率；  N —— 資料庫中樣本的數量。

參考:

L71 中華人民共和國國家標準 GB/T  生物特徵識別效能測試和報告 第1部分

ISO/IEC 19795-1