數據集
http://moreno.ss.uci.edu/data.html
http://archive.ics.uci.edu/ml/
海量數據（又稱大數據）已經成為各大互聯網企業面臨的最大問題，如何處理海量數據，提供更好的解決方案，是目前相當熱門的一個話題。類似MapReduce、 Hadoop等架構的普遍推廣，大家都在構建自己的大數據處理，大數據分析平臺。
相應之下，目前對於海量數據處理人才的需求也在不斷增多，此類人才可謂炙手可熱！越來越多的開發者把目光轉移到海量數據的處理上。但是不是所有人都能真正接觸到，或者有機會去處理海量數據的，所以就需要一些公開的海量數據集來研究。
在Quora上有人就問到，如何獲取海量數據集。此問題得到了很多人的關註。具體可以看看回答，數據集的種類多種多樣，有化學分析，基因遺傳等等，從中你肯定能得到自己想要個數據集。
Where can I get large datasets open to the public?
首先說說幾個收集數據集的網站：
1、Public Data Sets on Amazon Web Services (AWS)
http://aws.amazon.com/datasets
Amazon從2008年開始就為開發者提供幾十TB的開發數據。
2、Yahoo! Webscope
http://webscope.sandbox.yahoo.com/index.php
3、Konect is a collection of network datasets
http://konect.uni-koblenz.de/
4、Stanford Large Network Dataset Collection
http://snap.stanford.edu/data/index.html
再就是說說幾個跟互聯網有關的數據集：
1、Dataset for "Statistics and Social Network of YouTube Videos"
http://netsg.cs.sfu.ca/youtubedata/
2、1998 World Cup Web Site Access Logs
http://ita.ee.lbl.gov/html/contrib/WorldCup.html
這個是1998年世界杯期間的數據集。從1998/04/26 到 1998/07/26 的92天中，發生了 1,352,804,107次請求。
3、Page view statistics for Wikimedia projects
http://dammit.lt/wikistats/
4、AOL Search Query Logs - RP
http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs
5、livedoor gourmet
http://blog.livedoor.jp/techblog/archives/65836960.html
海量圖像數據集：
1、ImageNet
http://www.image-net.org/
包含1400萬的圖像。
2、Tiny Images Dataset
http://horatio.cs.nyu.edu/mit/tiny/data/index.html
包含8000萬的32x32圖像。
3、 MirFlickr1M
http://press.liacs.nl/mirflickr/
Flickr中的100萬的圖像集。
4、 CoPhIR
http://cophir.isti.cnr.it/whatis.html
Flickr中的1億600萬的圖像
5、SBU captioned photo dataset
http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/
Flickr中的100萬的圖像集。
6、Large-Scale Image Annotation using Visual Synset(ICCV 2011)
http://cpl.cc.gatech.edu/projects/VisualSynset/
包含2億圖像
7、NUS-WIDE
http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm
Flickr中的27萬的圖像集。
8、SUN dataset
http://people.csail.mit.edu/jxiao/SUN/
包含13萬的圖像
9、MSRA-MM
http://research.microsoft.com/en-us/projects/msrammdata/
包含100萬的圖像，23000視頻
10、TRECVID
http://trecvid.nist.gov/
Stack Overflow Dump Files
7.3G stackoverflow.com-Posts.7z
573.1K stackoverflow.com-Tags.7z
153.0M stackoverflow.com-Users.7z
2.2G stackoverflow.com-Comments.7z
截止目前好像還沒有國內的企業或者組織開放自己的數據集。希望也能有企業開發自己的數據集給研究人員使用，從而推動海量數據處理在國內的發展！
2014/07/07 雅虎發布超大Flickr數據集 1億的圖片+視頻
http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for
100多個有趣的數據集
http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics
機器學習算法需要作用於數據，而數據的本質則決定了應用的機器學習算法是否合適，而數據的質量也會決定算法表現的好壞程度。所以會研究數據，會分析數據很重要。本文作為學習研究數據系列博文的開篇，列舉了4個最流行的機器學習數據集。
Iris
Iris也稱鳶尾花卉數據集，是一類多重變量分析的數據集。通過花萼長度，花萼寬度，花瓣長度，花瓣寬度4個屬性預測鳶尾花卉屬於（Setosa，Versicolour，Virginica）三個種類中的哪一類。
| 數據集特征: | 多變量 | 記錄數: | 150 | 領域: | 生活 |
|---|---|---|---|---|---|
| 屬性特征: | 實數 | 屬性數目: | 4 | 捐贈日期 | 1988-07-01 |
| 相關應用: | 分類 | 缺失值? | 無 | 網站點擊數: | 563347 |
Adult
該數據從美國1994年人口普查數據庫抽取而來，可以用來預測居民收入是否超過50K$/year。該數據集類變量為年收入是否超過50k$，屬性變量包含年齡，工種，學歷，職業，人種等重要信息，值得一提的是，14個屬性變量中有7個類別型變量。
| 數據集特征: | 多變量 | 記錄數: | 48842 | 領域: | 社會 |
|---|---|---|---|---|---|
| 屬性特征: | 類別型，整數 | 屬性數目: | 14 | 捐贈日期 | 1996-05-01 |
| 相關應用: | 分類 | 缺失值? | 有 | 網站點擊數: | 393977 |
Wine
這份數據集包含來自3種不同起源的葡萄酒的共178條記錄。13個屬性是葡萄酒的13種化學成分。通過化學分析可以來推斷葡萄酒的起源。值得一提的是所有屬性變量都是連續變量。
| 數據集特征: | 多變量 | 記錄數: | 178 | 領域: | 物理 |
|---|---|---|---|---|---|
| 屬性特征: | 整數，實數 | 屬性數目: | 13 | 捐贈日期 | 1991-07-01 |
| 相關應用: | 分類 | 缺失值? | 無 | 網站點擊數: | 337319 |
Car Evaluation
這是一個關於汽車測評的數據集，類別變量為汽車的測評，（unacc，ACC，good，vgood）分別代表（不可接受，可接受，好，非常好），而6個屬性變量分別為「買入價」，「維護費」，「車門數」，「可容納人數」，「後備箱大小」，「安全性」。值得一提的是6個屬性變量全部是有序類別變量，比如「可容納人數」值可為「2，4，more」，「安全性」值可為「low, med, high」。
| 數據集特征: | 多變量 | 記錄數: | 1728 | 領域: | N/A |
|---|---|---|---|---|---|
| 屬性特征: | 類別型 | 屬性數目: | 6 | 捐贈日期 | 1997-06-01 |
| 相關應用: | 分類 | 缺失值? | 無 | 網站點擊數: | 272901 |
小結
通過比較以上4個數據集的差異，簡單地總結：當需要試驗較大量的數據時，我們可以想到「Adult」；當想研究變量之間的相關性時，我們可以選擇變量值只為整數或實數的「Iris」和「Wine」；當想研究logistic回歸時，我們可以選擇類變量值只有兩種的「Adult」；當想研究類別變量轉換時，我們可以選擇屬性變量為有序類別的「Car Evaluation」。更多的嘗試還需要對這些數據集了解更多才行。
本文出自 “IT技術學習與交流” 博客，謝絕轉載！
數據集