1. 程式人生 > >目標檢測/分類常用資料集和評價指標小彙集

目標檢測/分類常用資料集和評價指標小彙集

二:混淆矩陣 (Confusion Matrix)

三:召回率(Recall)、精確率(Precision)

四: P-R曲線、平均精度(Average-Precision,AP)、F指標

五:受試者工作特徵曲線(Receiver Operating

    Characteristic,ROC)、AUC(Area Under   Curve)、

      EER(Equal Error Rate)

六: 平均精度均值(Mean Average Precision,mAP)、

IOU(Intersection Over Union)

Pascal VOC(Pascal Visual Object Classes)

自2005年起每年舉辦一次比賽,最開始只有4類,到2007年擴充為20個類,共有兩個常用的版本:2007和2012。學術界常用5k的trainval2007和16k的trainval2012作為訓練集(07+12),test2007作為測試集,用10k的trainval2007+test2007和和16k的trainval2012作為訓練集(07++12),test2012作為測試集,分別彙報結果。

MS COCO(Common Objects in COntext)

這裡寫圖片描述
相比ImageNet,COCO更加偏好目標與其場景共同出現的圖片,即non-iconic images。這樣的圖片能夠反映視覺上的語義,更符合影象理解的任務要求。而相對的iconic images則更適合淺語義的影象分類等任務。

COCO的檢測任務共含有80個類,在2014年釋出的資料規模分train/val/test分別為80k/40k/40k,學術界較為通用的劃分是使用train和35k的val子集作為訓練集(trainval35k),使用剩餘的val作為測試集(minival),同時向官方的evaluation server提交結果(test-dev)。除此之外,COCO官方也保留一部分test資料作為比賽的評測集。
這裡寫圖片描述
在分佈方面,COCO的每個類含有更多例項,分佈也較為均衡(上圖a),每張圖片包含更多類和更多的例項(上圖b和c,均為直方圖,每張圖片平均分別含3.3個類和7.7個例項),相比Pascal VOC,COCO還含有更多的小物體(下圖,橫軸是物體佔圖片的比例)。
這裡寫圖片描述

ImageNet

Imagenet資料集有1400多萬幅圖片,涵蓋2萬多個類別;其中有超過百萬的圖片有明確的類別標註和影象中物體位置的標註,具體資訊如下:
1)Total number of non-empty synsets: 21841
2)Total number of images: 14,197,122
3)Number of images with bounding box annotations: 1,034,908
4)Number of synsets with SIFT features: 1000
5)Number of images with SIFT features: 1.2 million

COCO

這裡寫圖片描述
COCO(Common Objects in Context)是一個新的影象識別、分割和影象語義資料集,它有如下特點:
1)Object segmentation
2)Recognition in Context
3)Multiple objects per image
4)More than 300,000 images
5)More than 2 Million instances
6)80 object categories
7)5 captions per image
8)Keypoints on 100,000 people

PASCAL VOC

PASCAL VOC挑戰賽是視覺物件的分類識別和檢測的一個基準測試,提供了檢測演算法和學習效能的標準影象註釋資料集和標準的評估系統。PASCAL VOC圖片集包括20個目錄:人類;動物(鳥、貓、牛、狗、馬、羊);交通工具(飛機、自行車、船、公共汽車、小轎車、摩托車、火車);室內(瓶子、椅子、餐桌、盆栽植物、沙發、電視)。PASCAL VOC挑戰賽在2012年後便不再舉辦,但其資料集影象質量好,標註完備,非常適合用來測試演算法效能。

CIFAR

這裡寫圖片描述
CIFAR-10包含10個類別,50,000個訓練影象,彩色影象大小:32x32,10,000個測試影象。CIFAR-100與CIFAR-10類似,包含100個類,每類有600張圖片,其中500張用於訓練,100張用於測試;這100個類分組成20個超類。影象類別均有明確標註。CIFAR對於影象分類演算法測試來說是一個非常不錯的中小規模資料集。