版權宣告：本文為博主原創文章，轉載請註明出處。    https://blog.csdn.net/chaipp0607/article/details/71403797
資料的準備工作是訓練模型前的必要工作，顯然這也是非常耗時的，所以在入門階段我們完全可以用現有的開源圖片庫快速完成前期的準備工作：

ImageNet
  ImageNet是根據WordNet層次結構（目前只有名詞）組織的影象資料庫，其中層次結構的每個節點都由數百和數千個影象描繪。 目前，資料庫中每個節點平均擁有超過五百幅影象。 我們希望ImageNet將成為研究人員，教育工作者，學生以及分享我們對圖片熱情的所有人的有用資源。 
  ImageNet的一些特點： 
  ImageNet是全球最大的開源圖片庫，截至到現在（2017.5）ImageNet共有一千四百多萬張圖片。其中包括超過20000個synset(s)，synset是近義詞的合集，synsnet可以理解為ImageNet整理的標籤。 
  說到WordNet層次結構，就要提一下什麼是WordNet，WordNet是普林斯頓大學開源的詞彙庫，可以理解為是一個詞典。每個詞語(word)可能有多個不同的語義，對應不同的sense。而每個不同的語義（sense）又可能對應多個詞，如topic和subject在某些情況下是同義的，WordNet由Princeton 大學的心理學家，語言學家和計算機工程師聯合設計的一種基於認知語言學的英語詞典。它不是光把單詞以字母順序排列，而且按照單詞的意義組成一個“單詞的網路”。WordNet 主要有3個主概念 Synset, WordSense 和 Word。而ImageNet就是應用了synset這個概念，只是ImageNet目前只有名詞。 
  由於圖片的版權問題，ImageNet中的圖片以URLs的形式提供下載，也就是說ImageNet只提供這個圖片在哪，而不直接提供圖片本身。 

  我們在ImageNet搜尋一個synset的時，左側可以看到他的層次結構WordNet，在Download中提供了URLs的下載地址。

CIFAR
  CIFAR由Alex Krizhevsky, Vinod Nair和 Geoffrey Hinton收集並整理，在Visual Dictionary的80萬張圖片中選擇了6萬張，並把它們分為CIFAR-10 和CIFAR-100。 
  CIFAR-10資料集包含60000個32*32的彩色影象，共有10類。有50000個訓練影象和10000個測試影象。資料集分為5個訓練塊和1個測試塊，每個塊有10000個影象。測試塊包含從每類隨機選擇的1000個影象。訓練塊以隨機的順序包含這些影象，但一些訓練塊可能比其它類包含更多的影象。訓練塊每類包含5000個影象。 
  CIFAR-100資料集包含100小類，每小類包含600個影象，其中有500個訓練影象和100個測試影象。100類被分組為20個大類。 

MNIST
  MNIST深度學習領域中大名鼎鼎的資料集—MNIST,幾乎所有的深度學習教程的入門例項都是手寫數字識別，而它們用到的庫就是MNIST。這就好比我們學習一門語言的時候顯示”hello world”。 
  MNIST資料集共包含7萬個樣本，分別是手寫體數字0~9，樣本大小為28*28。

Labeled Faces in the Wild
  Labeled Faces in the Wild資料庫中收集了1萬3千多張人臉影象，共包含了5000多個人物。每個人標記除了人物的名字外，還包含了其他資訊，比如性別，年齡等

Quick Draw
  Quick Draw是由google釋出的塗鴉資料集，其中包含 5000 萬張圖畫的集合，分成了 345 個類別，它其實就是張這個樣子： 

  這麼看起來這個資料集還是挺無聊的，它的釋出其實是源於谷歌推出的 AutoDraw ，這是一個能把你的隨手塗鴉變成繪畫的人工智慧技術工具，就是這樣（谷歌總是在做一些很好玩的東西）： 

  谷歌也曾釋出論文和部落格介紹了其背後的技術。實際上，AutoDraw 所用的技術基於谷歌先前的塗鴉實驗「Quick, Draw!」。近日，谷歌釋出了該專案背後的資料集，就是之前提到的Quick Draw資料集了。這個專案同時釋出到了git上，在git的地址中對資料集進行了詳細的介紹，在這裡簡要描述下：

  原始資料在 ndjson 檔案中，並按類別進行了分割，按照如下格式： 

  該資料集在谷歌雲端儲存服務中，在 ndjson 檔案中分類儲存。請參閱 Cloud Console 中的檔案列表，資料集分類如下：

Raw files (.ndjson) 
Simplified drawings files (.ndjson) 
Binary files (.bin) 
Numpy bitmap files (.npy)

  其中原始檔案和簡筆畫都是.ndjson形式儲存，同時提供了二進位制檔案（.bin）和Numpy 點陣圖（.npy）檔案。

Binary files (.bin) 
  我們也提供了簡化後的繪畫和元資料的定製二進位制格式，可用於高效的壓縮和載入。examples/binary_file_parser.py 給出瞭如何用 Python 載入該檔案的示例。

Numpy 點陣圖（.npy） 
  所有簡化過的繪畫也都被轉換成了 28×28 的灰度點陣圖，儲存為 numpy 的 .npy 格式。該檔案可以通過 np.load() 函式載入。

AI-Challneger
  AI-Challneger是一個由創新工場發起的大賽，其中有6個專案，每一個專案下都提供了配套的資料集，比如場景分類專案下，到目前為止提供了三個資料集，分別是訓練集（train），驗證集（valuation）和測試集A（test_a），分別包含圖片5w+，7k+，7k+；包含80類場景圖，支援直接下載原圖。 

kaggle cats vs. dogs
  貓狗大戰資料集，大名鼎鼎的kaggle大賽下的資料，一個二分類資料集，訓練集中貓狗圖片各12500張，測試集中貓狗圖片共12500張，支援原圖下載。 

notMNIST
  notMNIST資料集起做這個名字是為了致敬MNIST，它提供了從A到J是個字母的圖片，圖片大小為28*28，而且圖片不是手寫字母，而是來源於網路上各種各樣奇奇怪怪的圖片，比如字母A： 
 
  該資料集提供了兩個版本，其中large版中，每個類大概5.3W左右的圖片，總數在53W個，類別間資料比較平均。

Pascal VOC
  PASCAL VOC挑戰賽是視覺物件的分類識別和檢測的一個基準測試，提供了檢測演算法和學習效能的標準影象註釋資料集和標準的評估系統。PASCAL VOC圖片集包括20個目錄：人類；動物（鳥、貓、牛、狗、馬、羊）；交通工具（飛機、自行車、船、公共汽車、小轎車、摩托車、火車）；室內（瓶子、椅子、餐桌、盆栽植物、沙發、電視）。PASCAL VOC挑戰賽在2012年後便不再舉辦，但其資料集影象質量好，標註完備，非常適合用來測試演算法效能。

COCO common objects Dataset
  COCO資料集由微軟贊助，其對於影象的標註資訊不僅有類別、位置資訊，還有對影象的語義文字描述，COCO資料集的開源使得近兩三年來影象分割語義理解取得了巨大的進展，也幾乎成為了影象語義理解演算法效能評價的“標準”資料集。Google的開源show and tell生成模型就是在此資料集上測試的。 
目前包含的比賽專案有： 
1.目標檢測（COCO Detection Challenge），包含兩項比賽： 
  輸出目標物的邊框即可（using bounding box output），也就是我們常說的目標檢測(object detection)了 
要求把目標物從影象中分割出來（object segmentation output），即我們所說的影象語義分割（Semantic image segmentation） 
2.影象標註（COCO Captioning Challenge） 
  具體說來就是一句話準確描述圖片上的資訊（producing image captions that are informative and accurate）。那這個怎麼評分呢？目前是靠人工評分。 
3.人體關鍵點檢測（COCO Keypoint Challenge） 
  比賽要求是找到人在哪，然後定位到人體的一些關鍵點位置（The keypoint challenge involves simultaneously detecting people and localizing their keypoints）。 

CityScapes
  CityScapes資料場景包括50個不同城市（主要在德國），春夏秋三個季節白天的場景，有大量的動態目標不同層次的場景和多樣的背景。場景不包括下大雨的和下雪的，因為這種場景需要用特殊的技術處理。 
  影象資料分為30類：除了有 5000幀細標註的（畫素級別的），標註一張圖時間控制在１.5h左右，精細標註的資料劃分成如下圖訓練驗證測試集，不是隨機劃分的，而是確保每個劃分的資料集裡面包含各種場景。最終有2975張用來訓練，500張用來驗證，1525張用來測試。此外，還有20000張弱標註的幀，只用來訓練，標註一張圖控制在７min內。 

持續更新中……
--------------------- 
作者：chaibubble 
來源：CSDN 
原文：https://blog.csdn.net/chaipp0607/article/details/71403797 
版權宣告：本文為博主原創文章，轉載請附上博文連結！