MAP

AP

在瞭解MAP(Mean Average Precision)之前，先來看一下AP(Average Precision), 即為平均準確率。

對於AP可以用這種方式理解: 假使當我們使用google搜尋某個關鍵詞，返回了10個結果。當然最好的情況是這10個結果都是我們想要的相關資訊。但是假如只有部分是相關的，比如5個，那麼這5個結果如果被顯示的比較靠前也是一個相對不錯的結果。但是如果這個5個相關資訊從第6個返回結果才開始出現，那麼這種情況便是比較差的。這便是AP所反映的指標，與recall的概念有些類似，不過是“順序敏感的recall”。

比如對於使用者 u, 我們給他推薦一些物品，那麼 u

的平均準確率定義為：

APu=1|teu|∑i∈teu∑j∈teuδ(puj≺pui)+1pui

在這裡 pui 表示推薦列表中物品 i 的排序位置。puj≺pui 表示在對使用者 u 的排序列表中物品 j 的排序位置在物品i 的前面。

上面的式子是不是挺唬人的，下面來分析一下

def AP(ranked_list, ground_truth):
    """Compute the average precision (AP) of a list of ranked items

    """
    hits = 0
    sum_precs = 0
    for n in
 
 range(len(ranked_list)):
        if ranked_list[n] in ground_truth:
            hits += 1
            sum_precs += hits / (n + 1.0)
    if hits > 0:
        return sum_precs / len(ground_truth)
    else:
        return 0

MAP

那麼對於MAP(Mean Average Precision)，就很容易知道即為所有使用者 u 的AP再取均值(mean)而已。那麼則有：

M

AP=∑u∈teAPu|te|

NDCG

CG

先從後兩個字母CG(Cummulative Gain)說起, 直接翻譯的話叫做“累計增益”。 在推薦系統中，CG即將每個推薦結果相關性(relevance)的分值累加後作為整個推薦列表(list)的得分。

CGk=∑i=1kreli

這裡， reli 表示處於位置 i 的推薦結果的相關性，k 表示所要考察的推薦列表的大小。

DCG

CG的一個缺點是沒有考慮每個推薦結果處於不同位置對整個推薦效果的影響，例如我們總是希望相關性高的結果應排在前面。顯然，如果相關性低的結果排在靠前的位置會嚴重影響使用者體驗， 所以在CG的基礎上引入位置影響因素，即DCG(Discounted Cummulative Gain), “Discounted”有打折，折扣的意思，這裡指的是對於排名靠後推薦結果的推薦效果進行“打折處理”:

DCGk=∑i=1k2reli−1log2(i+1)

• 分子部分 2reli−1
  reli越大，即推薦結果 i 的相關性越大，推薦效果越好， DCG越大。

• 分母部分 log2(i+1)
  i 表示推薦結果的位置，i 越大，則推薦結果在推薦列表中排名越靠後，推薦效果越差，DCG越小。

NDCG

DCG仍然有其侷限之處，即不同的推薦列表之間，很難進行橫向的評估。而我們評估一個推薦系統，不可能僅使用一個使用者的推薦列表及相應結果進行評估， 而是對整個測試集中的使用者及其推薦列表結果進行評估。 那麼不同使用者的推薦列表的評估分數就需要進行歸一化，也即NDCG(Normalized Discounted Cummulative Gain)。

在介紹NDCG之前，還需要了解一個概念：IDCG. IDCG, 即Ideal DCG， 指推薦系統為某一使用者返回的最好推薦結果列表， 即假設返回結果按照相關性排序， 最相關的結果放在最前面， 此序列的DCG為IDCG。因此DCG的值介於 (0,IDCG] ，故NDCG的值介於(0,1].

對於使用者 u 的[email protected]定義為：

NDCGu@k=DCGu@kIDCGu
這裡的 k 表示推薦列表的大小。

那麼，則有：

NDCG@k=∑u∈teNDCGu@k|te|

在具體操作中， 可以事先確定推薦目標和推薦結果的相關性分級。

• 例如可以使用 0，1分別表示相關或不相關，比如此處我們用refi=δ(i∈teu) , 在這裡如果 x 為true, 則δ(x)=1，否則δ(x)=0.

• 或是使用 0~5 分別表示嚴重不相關到非常相關, 也即相當於確定了rel 值的範圍。之後對於每一個推薦目標的返回結果給定

  相關推薦

  推薦系統常見評測標準之MAP與NDCG

  MAP AP 在瞭解MAP(Mean Average Precision)之前，先來看一下AP(Average Precision), 即為平均準確率。 對於AP可以用這種方式理解: 假使當我們使用google搜尋某個關鍵詞，返回了10個結果。當然

  推薦系統：協同過濾 之 Item-based Collaborative Filtering

  說起 Item-based collaborative filtering，還有一段有意思的爭論，是關於它的起源的。 GroupLens 研究小組的 Sarwar 教授等人，於2001年5月在香港召開的第 10 屆 WWW 大會上，發表了題為《Item-based Collaborative Filteri

  002推薦系統深度學習應用之 IMDB 解析

  IMDB Internet Movie Database【媒體庫】 440 萬個影片資訊 包含電影、綜藝、電視劇等節目詳細資訊 電影資料探勘從業者必爬的網站 Internet Movie Database【使用者資源庫】 七千六百萬個註冊使用者 專業電影看

  Array陣列(JS)之map與reduce方法

  map // Define the callback function. const AreaOfCircle = (radius) => { let area = Math.PI

  推薦系統的評測方法及指標

  首先宣告，以下內容是看了項亮的《推薦系統實踐》後 寫的，內容基本出自該書，只是我自己再歸納總結一下而已（以免噴子又噴） 推薦系統中，主要有三種評測推薦效果的實驗方法： 1）離線實驗。 往往是從日誌系統中取得使用者的行為資料，然後將資料集分成訓練資料和測試資料，比如80%的

  乾貨 | 個性化推薦系統五大研究熱點之深度學習（一）

  【編者按】在這個科技高速發展、資訊爆炸的時代，毫不誇張地說，推薦系統已經完全融入了我們的生活。我們去哪一家餐館、買哪一件衣服、瀏覽哪一類資訊、觀看哪一種視訊，很大程度上都取決於背後的推薦系統。 在本文中，微軟亞洲研究院社會計算組的研究員們從深度學習、知識圖譜、強化學習、使用者畫像、可解釋性推薦等五個方面，展望

  推薦系統的評測指標新穎性和驚喜度的區別

  本文為原創部落格，僅供技術學習使用。未經允許，禁止將其複製下來上傳到百度文庫等平臺。如有轉載請註明本文部落格的地址(連結)。 什麼是新穎的推薦 新穎的推薦是指給使用者推薦那些他們以前沒有聽說過的物品

  乾貨｜個性化推薦系統五大研究熱點之可解釋推薦（五）

  【編者按】微軟亞洲研究院社會計算組的研究員們從深度學習、知識圖譜、強化學習、使用者畫像、可解釋性推薦等五個方面，展望了未來推薦系統發展的方向。 在前幾篇文章中，我們分別介紹了深度學習、知識圖譜、強化學習、使用者畫像在推薦系統中的應用以及未來可能的研究方向。在今天的最後一篇文章中，我們將介紹推薦系

  推薦系統中所需的概率論與數理統計知識

  前言     一個月餘前，在微博上感慨道，不知日後是否有無機會搞DM，微博上的朋友只看不發的圍脖評論道：演算法研究領域，那裡要的是數學，你可以深入學習數學，將演算法普及當興趣。想想，甚合我意。自此，便從rickjin寫的“正態分佈的前世今生”開始研習數學。

  Scala學習之Map與Tuple

  1、建立Map // 建立一個不可變的Map val ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23) ages("Leo")

  STL之map與pair與unordered_map常用函式詳解

  STL之map與pair與unordered_map常用函式詳解 一、map的概述 map是STL的一個關聯容器，它提供一對一（其中第一個可以稱為關鍵字，每個關鍵字只能在map中出現一次，第二個可能稱為該關鍵字的值）的資料處理能力，由於這個特性，它完成有可能在我們處理一對一資料的時候，在程式設計上提供快速通道

  推薦系統評測標準TOPN之precision與recall

       關於推薦系統topN的評估指標：precision(精確率)和recall(召回率) 關於準確率應該比較容易理解。但是召回率可能有點繞。下面是我覺得比較容易理解的解釋： 準確率和

  推薦系統學習之評測指標

  又能 根據 ima 商品 .net 一般來說 解釋 image 推薦系統 轉自 http://blog.csdn.net/sinat_33741547/article/details/52704986 最近開始學習推薦系統，特記錄一下學習過程並做個分享。推薦系統是什麽不用多

  mahout之推薦系統原始碼筆記（4） ---總結與優化

  mahout之推薦系統原始碼筆記（4） —總結與優化 花了幾天的時間閱讀分析了mahout推薦系統中基於java單機和基於hadoop的分散式mapreduce原始碼。根據其推薦系統hadoop程式的job劃分寫了筆記1、2、3。在這裡，基於筆記1，2，3做一

  推薦系統之評測指標

  一、什麼是推薦系統 資訊量過載問題存在已久，對於資訊消費者，從大量的資訊中找到自己感興趣的資訊顯然是一件非常困難的事情；對於資訊生產者，讓自己生產的資訊能夠準確的命中受用人群，也是一件非常困難的事情。推薦系統能夠很好地解決資訊生產者和消費者這一資訊不對稱的情況。推薦系統是通

  推薦系統之冷啟動問題

  tail 高效 排行榜 音樂 復雜 技術 一個 ora tle 轉自http://blog.csdn.net/zhangjunjie789/article/details/51379127 如何在沒有大量用戶數據的情況下設計個性化推薦系統並且讓用戶對推薦結果滿意從而願意使用

  推薦系統評測指標—準確率(Precision)、召回率(Recall)、F值(F-Measure)

  mda 統計 混雜 分類 sha 指標 lock 網頁 log 下面簡單列舉幾種常用的推薦系統評測指標： 1、準確率與召回率（Precision & Recall） 準確率和召回率是廣泛用於信息檢索和統計學分類領域的兩個度量值，用來評價結果的質量。其中精度是

  Linux入門之Linux與Windows常見對比

  window linux與 簡要概述 目前使用最多的操作系統就是Windows和Linux，而Microsoft Windows操作系統占據了廣大使用者市場的大半江山，Windows如此受廣大用戶的青睞，那還有必要學習Linux操作系統嗎？既然Linux沒有被Windows擠出市場，那足以說明

  機器學習和推薦系統中的評測指標—準確率(Precision)、召回率(Recall)、F值(F-Measure)簡介

  模型 可擴展性 決策樹 balance rman bsp 理解 多個 缺失值 數據挖掘、機器學習和推薦系統中的評測指標—準確率(Precision)、召回率(Recall)、F值(F-Measure)簡介。 引言： 在機器學習、數據挖掘、推薦系統完成建模之後，需要對模型的

  大數據入門第十九天——推薦系統與mahout（一）入門與概述

  tps font 解決 技術分享 tar nbsp mage cnblogs clas 一、推薦系統概述 　　為了解決信息過載和用戶無明確需求的問題，找到用戶感興趣的物品，才有了個性化推薦系統。其實，解決信息過載的問題，代表性的解決方案是分類目錄和搜索引擎，如hao123