Learning to Rank for IR的評價指標—MAP,NDCG,MRR
MAP(Mean Average Precision)：單個主題的平均準確率是每篇相關文件檢索出後的準確率的平均值。主集合的平均準確率(MAP)是每個主題的平均準確率的平均值。MAP 是反映系統在全部相關文件上效能的單值指標。系統檢索出來的相關文件越靠前(rank 越高)，MAP就可能越高。如果系統沒有返回相關文件，則準確率預設為0。
例如：假設有兩個主題，主題1有4個相關網頁，主題2有5個相關網頁。某系統對於主題1檢索出4個相關網頁，其rank分別為1, 2, 4, 7；對於主題2檢索出3個相關網頁，其rank分別為1,3,5。對於主題1，平均準確率為(1/1+2/2+3/4+4/7)/4=0.83。對於主題2，平均準確率為(1/1+2/3+3/5+0+0)/5=0.45。則MAP= (0.83+0.45)/2=0.64。”
NDCG(Normalized Discounted Cumulative Gain)：計算相對複雜。對於排在結位置n處的NDCG的計算公式如下圖所示：
在MAP中，四個文件和query要麼相關，要麼不相關，也就是相關度非0即1。NDCG中改進了下，相關度分成從0到r的r+1的等級(r可設定)。當取r=5時，等級設定如下圖所示：
(應該還有r=1那一級，原文件有誤，不過這裡不影響理解)
例如現在有一個query={abc}，返回下圖左列的Ranked List(URL)，當假設使用者的選擇與排序結果無關(即每一級都等概率被選中)，則生成的累計增益值如下圖最右列所示：
MAP(Mean Average Precision)：單個主題的平均準確率是每篇相關文件檢索出後的準確率的平均值。主集合的平均準確率(MAP)是每個主題的平均準確率的平均值。MAP 是反映系統在全部相關文件上效能的單值指標。系統檢索出來的相關文件越靠前(rank 越高)，MAP就可能越高。如果系統沒有返回相
轉載自：http://www.cnblogs.com/eyeszjwang/articles/2368087.html
MAP(Mean Average Precision)：單個主題的平均準確率是每篇相關文件檢索出後的準確率的平均值。主集合的平均準確率(MAP)是每個主題的平均準確率的平均值。MAP 是反
MAP（Mean average precision）：評價一個rank方法效能的一個指標，現在有很多query，首先看rank方法對各個query來說效能分別是怎麼樣的（也就是AP），再平均起來，就是MAP。AP怎麼算那？舉個例子，現有一個query，與之相關的文件有
Learning to Rank for Information Retrieval(LETOR) 是Microsoft的一個資訊檢索相關度排序的資料集，有
Supervised ranking
Semi-supervised ranking
Rank aggregation
Lis
Map：相關性，1 or 0，計算排序後rank值
NDCG：
設定相關性等級（2^5-1, 2^4-1…）
計算累計增益值（嗯，就累加起來）
計算折算因子log(2)/log(1+rank) （越靠前的，越容易被點選）
歸一化到NDCG，為了不同等級上的搜 rdl n) gbrt comm eve ftw eva ext ros Datasets for ranking (LETOR datasets)
MSLR-WEB10k and MSLR-WEB30k You’ll need much patien pager ros base span 方式 disco 機器 osi containe https://www.cnblogs.com/wentingtu/archive/2012/03/13/2393993.html
Table of Contents
1 前言 搜索 class 差異 https mode 表示 排序 cef hot https://blog.csdn.net/kunlong0909/article/details/16805889
Table of Contents
1 前言
2 LTR流程
3 訓練數據
learning to rank是這幾年火起來的一個學科，可以應用於檢索、推薦等排序場景中。我們的業務場景大都和排序相關，那麼掌握住learning to rank就又多了一條解決業務問題的方法。
常見的排序演算法：
1.文字相關性計算方法：BM25，TF_IDF，word2vec等。
PS:文章主要轉載自CSDN大神hguisu的文章"機器學習排序":
http://blog.csdn.net/hguisu/article/details/7989489
最近需要完成課程作業——分散式排序學習系統.它是在
最近終於忙完了Learning to Rank的作業,同時也學到了很多東西.我準備寫幾篇相關的文章簡單講述自己對它的理解和認識.第一篇準備講述的就是Learning to Rank中Pointwise的認識及PRank演算法的實現.主要從以下四個方面進行講述：
1.學 1. The initial programming language(s) you learn should align with your goalsYou’ll sometimes see senior engineers encourage others to try and first learn
一、mAP
1. TP，FP，FN，TN
（1）TP(True positives)：正確劃分正例個數；正->正；
（2）FP(False positives)：錯誤劃分正例個數；負->正；
（3）FN(False negatives)：錯誤劃分負例個數；
1. 什麼是learning to rank?
2. 如何訓練一個排序模型？
訓練預料產生
對訓練預料提取特徵，通常特徵包含tf/idf, click, bm25， pagerank等特徵
訓練模型，常見模型：
pointwise
pairwise
listwi
非常好的一篇總結Learning to Rank的總結文章！
去年實習時，因為專案需要，接觸了一下Learning to Rank(以下簡稱L2R)，感覺很有意思，也有很大的應用價值。L2R將機器學習的技術很好的應用到了排序中，並提出了一些新的理論和演算法，不僅有效地
1. 前言
我們知道排序在很多應用場景中屬於一個非常核心的模組，最直接的應用就是搜尋引擎。當用戶提交一個query，搜尋引擎會召回很多文件，然後根據文件與query以及使用者的相關程度對文件進行排序，這些文件如何排序直接決定了搜尋引擎的使用者體驗。其他重要的應
本篇博文分享和總結下論文LearningtoRank:FromPairwiseApproachtoListwiseApproachLearning\ to\ Rank: From\ Pairwise\ Approach\ to\ Listwise\ Approa 程式碼如下：package listNet_xiuzhang;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileWriter;
import
在使用機器學習解決實際問題時，通常有很多模型可用。每個模型都有自己的怪癖（quirks），並且基於各種因素，效能會有所不同。
模型效能的評定都是在某個資料集上進行的，通常這個資料集被稱為 “validation 或 test” 資料集。模型效能的評價常用的指標
前一篇文章"Learning to Rank中Pointwise關於PRank演算法原始碼實現"講述了基於點的學習排序PRank演算法的實現.該篇文章主要講述Listwise
Approach和基於神經網路的ListNet演算法及Java實現.包括：
1.基於列的學習排序(Listwise 
相關推薦
Learning to Rank for IR的評價指標—MAP,NDCG,MRR
IR的評價指標—MAP,NDCG,MRR
learning to rank 評價指標 MAP NDCG
Learning to Rank for Information Retrieval
IR的評價指標-MAP,NDCG和MRR
Learning to rank (software, datasets)
Learning to Rank
Learning to Rank(轉)
learning to rank學習筆記
機器學習排序之Learning to Rank簡單介紹
【學習排序】 Learning to Rank中Pointwise關於PRank演算法原始碼實現
On Learning to Code (for 2019)
目標檢測效能評價指標mAP、Precision、Recall、IoU
learning to rank學習
Learning to Rank 簡介
Learning To Rank之LambdaMART的前世今生
論文分享--- >Learning to Rank: From Pairwise Approach to Listwise Approach
【學習排序】 Learning to Rank 中Listwise關於ListNet演算法講解及實現
目標檢測模型的評價指標 mAP
Learning to Rank 中Listwise關於ListNet演算法講解及實現