1. 程式人生 > >Mean Average Precision(MAP)平均精度均值

Mean Average Precision(MAP)平均精度均值

MAP(Mean Average Precision):單個主題的平均準確率是每篇相關文件檢索出後的準確率的平均值。主集合的平均準確率(MAP)是每個主題的平均準確率的平均值。 MAP 是反映系統在全部相關文件上效能的單值指標。系統檢索出來的相關文件越靠前(rank 越高),MAP就可能越高。如果系統沒有返回相關文件,則準確率預設為0。
例如:假設有兩個主題,主題1有4個相關網頁,主題2有5個相關網頁。某系統對於主題1檢索出4個相關網頁,其rank分別為1, 2, 4, 7;對於主題2檢索出3個相關網頁,其rank分別為1,3,5。對於主題1,平均準確率為(1/1+2/2+3/4+4/7)/4=0.83。對於主題 2,平均準確率為(1/1+2/3+3/5+0+0)/5=0.45。則MAP=
(0.83+0.45)/2=0.64。

MRR是把標準答案在被評價系統給出結果中的排序取倒數作為它的準確度,再對所有的問題取平均。

MAP可以由它的三個部分來理解:P,AP,MAP

先說P(Precision)精度,正確率。在資訊檢索領域用的比較多,和正確率一塊出現的是找回率Recall。對於一個查詢,返回了一系列的文件,正確率指的是返回的結果中相關的文件佔的比例,定義為:precision=返回結果中相關文件的數目/返回結果的數目; 而召回率則是返回結果中相關文件佔所有相關文件的比例,定義為:Recall=返回結果中相關文件的數目/所有相關文件的數目。

正確率只是考慮了返回結果中相關文件的個數,沒有考慮文件之間的序。對一個搜尋引擎或推薦系統而言返回的結果必然是有序的,而且越相關的文件排的越靠前越好,於是有了AP的概念。對一個有序的列表,計算AP的時候要先求出每個位置上的precision,然後對所有的位置的precision再做個average。如果該位置的文件是不相關的則該位置 

precision=0.