作者：白寧超

2016年7月19日19:04:51

摘要：寫本文的初衷源於基於HMM模型序列標註的一個實驗，實驗完成之後，迫切想知道採用的序列標註模型的好壞，有哪些指標可以度量。於是，就產生了對這一專題進度學習總結，這樣也便於其他人蔘考，節約大家的時間。本文依舊旨在簡明扼要梳理出模型評估核心指標，重點達到實用。本文佈局如下：第一章採用統計學習角度介紹什麼是學習模型以及如何選擇，因為現今的自然語言處理方面大都採用概率統計完成的，事實證明這也比規則的方法好。第二章採用基於資料探勘的角度探討模型評估指標和選擇。第三章採用統計自然語言處理的方法看看模型評價方法。第四章以R語言為例項，進行實戰操作，更深入瞭解模型的相關問題。（本文原創，轉載請註明出處

：基於NLP角度的模型評價方法。)

目錄

【自然語言處理：談談學習模型的評估（一）】：

【自然語言處理：談談學習模型的評估（三）】：

【自然語言處理：談談學習模型的評估（四）】：

1 資訊檢索中的模型評價？

資訊檢索中的評價經常使用：精確率（precision）和召回率（recall）的概念，而且在自然語言處理模型評價中取得良好的效果。

資訊檢索中的精確度和召回率度量分析

例項：在資訊檢索中，我們去百度或者google一個詞條，通過搜尋演算法返回網頁資訊。這個搜尋演算法模型如何去度量呢？如圖：其中tn表示真的不相關的搜尋（一般數目非常大），tp表示就是要搜尋的目標網頁；fp表示非目標網頁，但是錯誤的標記成目標網頁；fn表示搜尋目標網頁但是錯誤標記成不相關的網頁了；selected表示選擇反饋搜尋者的資料集條目，系統認為相關的搜尋文件（含有標記錯誤的頁面）；target是目標集，目標相關的文件（可能沒有被現實出來）。

如上資訊檢索的文件，其混淆矩陣如下：target是檢索目標，-target是非檢索目標

精確率：  

召回率：  

在資訊抽取中，精確率和召回率是相逆的（可以選擇文件集合中的所有文件，得到100%的召回率，但是精確率卻非常低），正是由於這樣的原因，將精確率和召回率得到一個全面的度量中，一種方法是使用F度量，公式如下：

其中P是精確度，R是召回率。α表示確定精確率和召回率的權重因子。α=0.5對應著P和R相同的權重；對應α這個值，F度量簡化：

總結：在資訊檢索結果矩陣中，TP+TN是檢索的正確數目，FP+FN是檢索的錯誤資訊數目，為何不採用準確率和錯誤率作為效能度量的指標？實際中不採用準確率和錯誤率去作為指標度量是有道理的，因為大部分實際問題中，TN的值（非目標網頁的數目很大，數以億計。）都非常大，從而使得其他資料顯得微不足道。針對該情況，一般採用精確率和召回率作為度量的方法。

2 採用精確率和召回率評估檢索模型的優點：

①    準確率數值對於比較小但是我們感興趣的數值TP、FP和FN不是特別敏感，而精確率和召回率對於這樣資料比較敏感。（其實就是避免FN這樣龐大的資料的原因）

②    在其他條件相等情況下，F度量和TP的數量成正比，而準確率只是針對錯誤的數量很敏感。F度量這種傾向和我們直觀感覺是一致的，我們對目標事件很敏感，甚至返回一些垃圾資料也在所不惜。

③    遺漏的目標事件和所謂的垃圾事件對系統的影響其實並不相同，而利用精確率和召回率可以衡量其中差異。

3 準確率和F度量評價結果比較

表中顯示的精確率、召回率、F度量（α=0.5）和準確率對於一個100 0000項資料集進行選擇的結果，這個資料集中150項資料是目標資料。

（a）表顯示隨著F度量值的增加準確率在下降。

（b）表顯示有同樣大小的準確率，但是F度量值仍在增加。F度量傾向最大化真正確TP，而準確率僅僅針對錯誤的數值敏感。

漏識率：一個不太常用的指標，表示被錯誤選擇的非目標項在非目標集中所佔的百分比，也就是錯誤出現，卻被系統判斷為正確的。公式表示如下：

當系統很少假正確FP情況下，漏識率可以評價系統構建困難程度。如果非目標項數目非常大，那麼FP較大而產生較低的精確率就有可能無法避免，因為非目標數目非常大，那麼由於FP較大產生的精確率就可能無法避免。

4 參考文獻

【1】 資料探勘概念與技術（364--386） 韓家煒

【2】 資料探勘：R語言實戰（274--292） 黃文、王正林

【3】 統計自然語言處理基礎 （166—169） 宛春法等譯

【4】 統計學習方法（10---13） 李航

5 自然語言相關係列文章

【自然語言處理：馬爾可夫模型（一）】：

宣告：關於此文各個篇章，本人採取梳理扼要，順暢通明的寫作手法。系統閱讀相關書目和資料總結梳理而成，旨在技術分享，知識沉澱。在此感謝原著無私的將其匯聚成書，才得以引薦學習之用。其次，本人水平有限，權作知識理解積累之用，難免主觀理解不當，造成讀者不便，基於此類情況，望讀者留言反饋，便於及時更正。本文原創，轉載請註明出處：基於NLP角度的模型評價方法。