1. 程式人生 > >深度學習相關資料總結

深度學習相關資料總結

近這兩年裡deep learning技術在影象識別和跟蹤等方面有很大的突破,是一大研究熱點,裡面涉及的數學理論和應用技術很值得深入研究,這裡總結一些在微博釋出和轉載的相關資料,以便查閱:

一、
@winsty  #NIPS2013# “Learning A Deep Compact Image Representation for Visual Tracking” 第一次結合deep learning和visual tracking的嘗試,在GPU下可以在MATLAB裡realtime,結果可以和state-of-the-art相比,還在等什麼呢?小夥伴們請猛戳project page(有code!): http://t.cn/zRakSQu

@丕子
Yoshua Bengio gave a recent presentation on “Deep Learning of Representation” and Generative Stochastic Networks (GSNs) at MSR and AAAI 2013. Slides of the talk can be accessed from this link. http://t.cn/zQI3EI1
二、
@鄒宇華 從CVPR2013看計算機視覺研究的三個趨勢:1.RGBD資料的分析;2.中層patch的分析;3.深度學習與特徵學習 | bfcat-計算機視覺部落格
http://t.cn/zQhiySm
  @鄒宇華 Andrew Ng 研究組在NIPS'2012的論文就融合了上一條微博所述的三種趨勢,用深度學習技術分析RGBD資料,實現三維物體分類。Convolutional-Recursive Deep Learning For 3D Object Classification -  www.socher.org   http://t.cn/zQzQqut

三、
@影象視覺研究 PAMI的Special Section on Learning Deep Architectures終於出來了,2013年的第8期
http://t.cn/zHuYhzw
。一共7篇DL相關的文章,第一篇就是Representation Learning: A Review and New Perspectives 。Early Access裡面還有好幾篇DL文章不在這一期。

四、
@資料探勘_PHP 【Deep Learning 相關資料彙總】1、DL能幹什麼>> http://t.cn/zY75Wsz   2、A tutorial on Deep Learning>> http://t.cn/zOyNTu

@張傑_NoahArk
這個是實戰, 如何用Python實現深度學習  http://t.cn/SVDKZh  Code  http://t.cn/zYUtj3G  Survey Papers很多,不過初學看這兩篇應該就夠了 Representation Learning: A Review and New Perspectives (2012), Learning Deep Architectures for AI. (2009).

五、
@鄒宇華  這裡也有一個非常讚的Deep Learning學習筆記系列,博主結合Andrew Ng的教程來寫,而且把教程每一部分的練習都做了一遍,目前已經寫到第23篇了,佩服! Deeplearning:一(基礎知識_1) - tornadomeet - 部落格園  http://t.cn/zYBHy0p

六、
@鄒宇華 整理得很不錯的Deep Learning學習筆記,推薦! Deep Learning(深度學習)學習筆記整理系列之(一) - zouxy09的專欄 - 部落格頻道 - CSDN.NET  http://t.cn/zTGh2Ts

七、
@李巖_ICT_人臉識別 A good summary of Deep Learning at NIPS2012.  http://t.cn/zj8L6WF

@鄒宇華 
不在北京的同學可以看看Andrew在NIPS 2012的同名報告,這裡還有個100多頁的ppt  http://t.cn/zYFa89k  。 Machine Learning and AI via Brain simulations | TechTalks.tv  http://t.cn/zjD7lK4

八、
@鄒宇華  Scaling Deep Learning by Jeff Dean in ICML'2012 | TechTalks.tv  http://t.cn/zW1L7pd

九、
@鄒宇華  Many useful links about Deep Learning in this blog - Notes from BayLearn 2012  http://t.cn/zTvuToC

十、
@Mr-Pandaria DeepLearning的入門還是看Yoshua Bengio的綜述文章就好了, 今年十月有一篇新的綜述, http://t.cn/zW18qVs  。我只看了十幾頁,讀起來很舒服,寫的還比較誠懇, 承認了deep learning中很多不足和尚未解決的問題。

十一、
@鄒宇華  Invited talk "A Tutorial on Deep Learning" by Dr. Kai Yu (餘凱)   http://t.cn/zjff9nE    十二、 @微軟亞洲研究院 通過實驗驗證,Andrew Ng斯坦福大學研究團隊開發的深度學習演算法準確度為19.2%,遠遠高於隨機預測(0.005%)或者state-of-art方法(9.5%)。【Andrew Ng主題演講:深度學習】Andrew Ng在微軟教育峰會分享Deep Learning核心思想:把學習框架看作一個層級式網路,可以根據如下程式進行訓練1)用無監督學習為每層網路訓練2)前者訓練結果作為更高一層的輸入3)用監督學習調整全部層級,模擬人腦分析學習。Slides下載>> |andrew-ng_machinelearning.pdf http://t.cn/zQNKJgF    十三、 @鮑捷AI Kevin Duh關於深度學習的這兩個教程不錯,面帶到了,深度適當,比較好懂.Deep Learning: An Introduction from the NLP Perspective, http://t.cn/zH3TzZ2  。Recent Advances in Deep Learning, http://t.cn/zH3TzZL 。   十四、 @王威廉 發現微軟雷德蒙研究院語音組大牛鄧力和俞棟研究員今年初寫了一本《訊號及資訊處理的深度學習方法》來總結一些深度學習的最新進展,一共才100頁不到,很容易就能讀完。本書總結了深度學習各種trick,算是關於深度學習最新的教材了,而且非常適合做語音的同學閱讀。下載地址: http://t.cn/zQv3gM2   十五、 //@陳利人:深度挖掘深度學習。 //@vinW: 原來還可以更古老//@老師木: Fukushima 的 neocognitron 更早,不過只是描述了how,我認為 linsker 在 88年左右的工作揭示了 why //@Hyperddr: 我上次轉的那篇論文是98年的,這個好像更老。。不過@老師木 轉的那篇是88年的, 全都是deeplearning的起源。
@vinW 話說機器學習界在深挖深度學習時,大多被1996年《自然》雜誌上一篇牛文給震到。因為它直指深度學習的核心之一:稀疏編碼。這挺像武俠江湖,你從藏經洞裡找到的上古祕笈永遠是最牛的 論文: http://t.cn/zHK5iNg  程式碼 http://t.cn/zHK5iNd
十六、 @餘凱_西二旗民工: 同推薦。這是去年夏天在加州大學洛杉磯分校的summer school. 的確深度學習的主要人物都參加了。上面的講義全面覆蓋了深度學習的各個方面。
@cswhjiang
http://t.cn/zWyVo2h  IPAM Summer School on Deep Learning and Feature Learning的視訊(有如下大牛:Geoffrey Hinton, Yann LeCun, Yoshua Bengio, Andrew Ng, Stephen Wright, Kai [email protected]餘凱_西二旗民工 等..)