1. 程式人生 > >深度學習論文彙總(2018.6.25更新)

深度學習論文彙總(2018.6.25更新)

好記性不如爛筆頭,一直以來都只有寫書面學習筆記的習慣,從來沒寫過部落格。如今很榮幸地加入了浙江大學學生人工智慧協會,立志在跟隨優秀的老師和學長學姐學習AI領域相關技術的同時也為協會的運營和發展貢獻力量。9月份入學以來,因為科研需要加上個人濃烈的興趣,一直堅持著學習機器學習、深度學習相關的知識。如今,我還負責分管協會深度學習論文歸檔這塊的任務,作為協會的資源方便成員的查閱學習。書面筆記不方便資源共享,於是開始寫起了部落格,剛開始嘗試,如部落格有不恰當之處還望海涵。希望此部落格能夠給深度學習有興趣的人一些論文選讀上的參考,少走彎路。此部落格將伴隨著我的學習歷程不定時更新,在如今這個深度學習研究成果爆發產出的時代裡,深度學習論文的發表又多又雜,如有錯誤請及時聯絡我,當然如果有更好的論文推薦,也請告知,不勝感激。

萬事開頭難,本部落格最初的論文,主要從他人的CSDN、部落格園、GitHub等個人部落格或主頁中整理出來。目前的內容主要來自我們協會會長羅浩學長的部落格,在此表示感謝。相關引用的連結我會在文末給出。如下為我讀過論文,我會盡量對我讀過每篇優秀論文寫閱讀筆記(整理中),若有錯誤之處,還望指正。

深度學習的基礎

  • Hecht-Nielsen R. Theory of the backpropagation neural network[J]. Neural Networks, 1988, 1(Supplement-1): 445-448.(BP神經網路)[PDF]
  • Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets.[J]. Neural Computation, 2006, 18(7): 1527-1554.(深度學習的開端DBN)
    [PDF]
  • Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks.[J]. Science, 2006, 313(5786): 504-7.(自編碼器降維)[PDF]
  • Ng A. Sparse autoencoder[J]. CS294A Lecture notes, 2011, 72(2011): 1-19.(稀疏自編碼器)[PDF]
  • Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research, 2010, 11(Dec): 3371-3408.(堆疊自編碼器,SAE)
    [PDF]

深度學習爆發:從AlexNet到Capsules

  • Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. 2012.(AlexNet)[PDF]
  • Simonyan, Karen, and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv: 1409.1556 (2014).(VGGNet)[PDF]
  • Szegedy, Christian, et al. Going deeper with convolutions. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. (GoogLeNet)[PDF]
  • Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the Inception Architecture for Computer Vision[J]. Computer Science, 2015: 2818-2826.(Inception-V3)[PDF]
  • He, Kaiming, et al. Deep residual learning for image recognition. arXiv preprint arXiv: 1512.03385 (2015).(ResNet)[PDF]
  • Chollet F. Xception: Deep Learning with Depthwise Separable Convolutions[J]. arXiv preprint arXiv: 1610.02357, 2016.(Xception)[PDF]
  • Huang G, Liu Z, Weinberger K Q, et al. Densely Connected Convolutional Networks[J]. 2016.  (DenseNet)[PDF]
  • Squeeze-and-Excitation Networks. (SeNet)[PDF]
  • Zhang X, Zhou X, Lin M, et al. Shufflenet: An extremely efficient convolutional neural network for mobile devices[J]. arXiv preprint arXiv: 1707.01083, 2017.(Shufflenet)[PDF]
  • Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C].Advances in Neural Information Processing Systems. 2017: 3859-3869.(Capsules)[PDF]

深度學習中非常有用的Tricks

  • Srivastava N, Hinton G E, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.(Dropout)[PDF]
  • Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv: 1502.03167, 2015.(Batch Normalization)[PDF]
  • Lin M, Chen Q, Yan S. Network In Network[J]. Computer Science, 2014.(Global average pooling)[PDF]

遞迴神經網路RNN

  • Mikolov T, Karafiát M, Burget L, et al. Recurrent neural network based language model[C].Interspeech. 2010, 2: 3.(RNN和語language model結合較經典文章)[PDF]
  • Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735-1780.(LSTM的數學原理)[PDF]
  • Chung J, Gulcehre C, Cho K H, et al. Empirical evaluation of gated recurrent neural networks on sequence modeling[J]. arXiv preprint arXiv: 1412.3555, 2014.(GRU網路)[PDF]

生成對抗網路GAN

  • Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C].Advances in neural information processing systems. 2014: 2672-2680.(GAN)[PDF]
  • Mirza M, Osindero S. Conditional generative adversarial nets[J]. arXiv preprint arXiv: 1411.1784, 2014.(CGAN)[PDF]
  • Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv: 1511.06434, 2015.(DCGAN)[PDF]
  • Denton E L, Chintala S, Fergus R. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[C].Advances in neural information processing systems. 2015: 1486-1494.(LAPGAN)[PDF]
  • Chen X, Duan Y, Houthooft R, et al. Infogan: Interpretable representation learning by information maximizing generative adversarial nets[C].Advances in Neural Information Processing Systems. 2016: 2172-2180.(InfoGAN)[PDF]
  • Arjovsky M, Chintala S, Bottou L. Wasserstein gan[J]. arXiv preprint arXiv: 1701.07875, 2017.(WGAN)[PDF]
  • Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[J]. arXiv preprint arXiv: 1703.10593, 2017.(CycleGAN)[PDF]
  • Yi Z, Zhang H, Gong P T. DualGAN: Unsupervised Dual Learning for Image-to-Image Translation[J]. arXiv preprint arXiv: 1704.02510, 2017.(DualGAN)[PDF]
  • Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[J]. arXiv preprint arXiv: 1611.07004, 2016.(pix2pix)[PDF]

遷移學習

  • Fei-Fei L, Fergus R, Perona P. One-shot learning of object categories[J]. IEEE transactions on pattern analysis and machine intelligence, 2006, 28(4): 594-611.(One shot learning)[PDF]
  • Larochelle H, Erhan D, Bengio Y. Zero-data learning of new tasks[J]. 2008: 646-651.(Zero shot learning)[PDF]

目標檢測

  • Szegedy C, Toshev A, Erhan D. Deep neural networks for object detection[C].Advances in Neural Information Processing Systems. 2013: 2553-2561.(深度學習早期的物體檢測)[PDF]
  • Girshick, Ross, et al. Rich feature hierarchies for accurate object detection and semantic segmentation. Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.(R-cnn)[PDF]
  • He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C].European Conference on Computer Vision. Springer International Publishing, 2014: 346-361.(SPPNet)[PDF]
  • Girshick R. Fast r-cnn[C]. Proceedings of the IEEE International Conference on Computer Vision. 2015: 1440-1448.(Fast R-cnn)[PDF]
  • Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[C]. Advances in neural information processing systems. 2015: 91-99.(Faster R-cnn)[PDF]
  • Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 779-788.(YOLO)[PDF]
  • Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C].European Conference on Computer Vision. Springer International Publishing, 2016: 21-37.(SSD)[PDF]
  • Li Y, He K, Sun J. R-fcn: Object detection via region-based fully convolutional networks[C].Advances in Neural Information Processing Systems. 2016: 379-387.(R-fcn)[PDF]

語義分割

  • Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 3431-3440.(最經典的FCN)[PDF]
  • Chen L C, Papandreou G, Kokkinos I, et al. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs[J]. arXiv preprint arXiv: 1606.00915, 2016.(DeepLab)[PDF]
  • Zhao H, Shi J, Qi X, et al. Pyramid scene parsing network[J]. arXiv preprint arXiv: 1612.01105, 2016.(PSPNet)[PDF]
  • He K, Gkioxari G, Dollár P, et al. Mask R-CNN[J]. arXiv preprint arXiv: 1703.06870, 2017.(MASK R-cnn)[PDF]
  • Hu R, Dollár P, He K, et al. Learning to Segment Every Thing[J]. arXiv preprint arXiv: 1711.10370, 2017.(Mask R-cnn增強版) [PDF]

影象壓縮

  • George Toderici, Sean M. O' Malley, Sung Jin Hwang, Damien Vincent, David Minnen, Shumeet Baluja, Michele Covell, and Rahul Sukthankar. Variable rate image compression with recurrent neural networks. In ICLR, 2016.(深度學習運用在影象壓縮上的一篇經典論文,RNN模型)[PDF]
  • George Toderici, Damien Vincent, Nick Johnston, Sung Jin Hwang, David Minnen, Joel Shor, and Michele Covell. Full resolution image compression with recurrent neural networks. arXiv preprint  arXiv: 1608.05148, 2016.(提出的RNN網路首次在Kodak資料集上超越JPEG)[PDF]
  • Mohammad Haris Baig, Vladlen Koltun, Lorenzo Torresani. Learn to Inpaint for Image Compression. In NIPS, 2017.[PDF]
  • Feng Jiang, Wen Tao, Shaohui Liu, Jie Ren, Xun Guo, Debin Zhao. An End-to-End Compression Framework Based on Convolutional Neural Networks.(CNN在影象壓縮中的運用)[PDF]

關鍵點/姿態檢測

  • Shih-En Wei, Varun Ramakrishna, Takeo Kanade, Yaser Sheikh. Convolutional Pose Machines. CVPR, 2016.(經典的關鍵點檢測的論文,在2016年MPII姿態分析競賽中位列第二,也是我的第一次參加天池比賽在FashionAI服飾關鍵點定位賽中用到的模型)[PDF]
  • Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked Hourglass Networks for Human Pose Estimation.(非常有名,特徵多尺度,速度快,在2016年MPII姿態分析競賽中位列榜首,在FashionAI天池大賽中中也被很多隊伍用到)[PDF]
  • W. Wang, Y. Xu, J. Shen, and S.-C. Zhu,Attentive Fashion Grammar Network for Fashion Landmark Detection and Clothing Category Classification.CVPR, 2018.(最新的FashionAI領域的大作,提出兩種位置關係語法,雙向卷積RNN網路資訊傳遞模型,針對不同認為提出的兩種attention機制,思想非常fancy,值得一讀.)[PDF]

ReID

  • Ding S, Lin L, Wang G, et al. Deep feature learning with relative distance comparison for person re-identification[J]. Pattern Recognition, 2015, 48(10): 2993-3003.[PDF](triplet loss)
  • Hermans A, Beyer L, Leibe B. In Defense of the Triplet Loss for Person Re-Identification[J]. arXiv preprint arXiv:1703.07737, 2017.[PDF](Triplet loss with hard mining sample)
  • Chen W, Chen X, Zhang J, et al. Beyond triplet loss: a deep quadruplet network for person re-identification[J]. arXiv preprint arXiv:1704.01719, 2017.[PDF](四元組)
  • Qiqi Xiao, Hao Luo, Chi Zhang. Margin Sample Mining Loss: A Deep Learning Based Method for Person Re-identification[J]. arXiv preprint arXiv: 1710.00478.[PDF](MSML)
  • Zhang X, Luo H, Fan X, et al. AlignedReID: Surpassing Human-Level Performance in Person Re-Identification[J]. arXiv preprint arXiv:1711.08184, 2017. [PDF](AlignedReid,首次超越人類)

引用連結

  • http://blog.csdn.net/qq_21190081/article/details/69564634
  • http://github.com/michuanhaohao/paper
  • http://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems
  • http://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap
  • http://github.com/kjw0612/awesome-deep-vision

-------------------------------------------

Youzhi Gu, master student

Foresight Control Center

College of Control Science & Engineering

Zhejiang University

Email: [email protected]

相關推薦

深度學習論文彙總2018.6.25更新

好記性不如爛筆頭,一直以來都只有寫書面學習筆記的習慣,從來沒寫過部落格。如今很榮幸地加入了浙江大學學生人工智慧協會,立志在跟隨優秀的老師和學長學姐學習AI領域相關技術的同時也為協會的運營和發展貢獻力量。9月份入學以來,因為科研需要加上個人濃烈的興趣,一直堅持著學習機器學習、深

深度學習論文彙總2018.2.4更新

好記性不如爛筆頭,一直以來都只有寫書面學習筆記的習慣,從來沒寫過部落格。如今很榮幸地加入了浙江大學學生人工智慧協會,立志在跟隨優秀的老師和學長學姐學習AI領域相關技術的同時也為協會的運營和發展貢獻力量。9月份入學以來,因為科研需要加上個人濃烈的興趣,一直堅持著學習機器學習、深度學習相關的知識。如今,我還負責

git小白學習日記|筆記2018-09-09更新| 四次更新

一、博主學習git 看過的部落格、文件,推薦推薦  1、git 官方文件中文的哦,必讀必讀  2、廖雪峰前輩的git 教程,非常的詳細,五星推薦 二、說明 三、具體筆記  1、git 的簡介  2、git 的安裝   (1)wingows下git 的安裝   (2)lin

更新於12.29】深度學習論文彙總

本部落格用於記錄自己平時收集的一些不錯的深度學習論文,近9成的文章都是引用量3位數以上的論文,剩下少部分來自個人喜好,本部落格將伴隨著我的研究生涯長期更新,如有錯誤或者推薦文章煩請私信。 深度學習書籍和入門資源 LeCun Y, Bengio Y, Hinton G. Deep lea

機器學習 深度學習資料彙總含文件,資料集,程式碼等

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

深度學習資料彙總滿滿的乾貨

Deep Learning(深度學習),一個很火熱的研究方向,然而,它已經有很久的歷史,只不過由於當時沒有充足的資料和強大的計算能力,導致它此起彼伏了好幾次。如今,他為什麼會這麼火熱,最主要的原因有兩點: 1.大資料時代已經來臨,國內很多的公司每

深度學習論文筆記--- FCN-2015年Fully Convolutional Networks for Semantic Segmentation

深度學習論文筆記(六)--- FCN 全連線網路 FullyConvolutional Networks for Semantic Segmentation Author:J Long , E Shelhamer, T Darrell Year: 2015 1、  導

神經網路與深度學習課程筆記第三、四周

接著學習吳恩達老師第三、四周的課程。(圖片均來自吳恩達老師課件)   第三週 1. 普通的淺層網路                        

神經網路與深度學習課程筆記第一、二週

   之前結束了吳恩達老師的機器學習的15節課,雖然看得很艱辛,但是也算是對於機器學習的理論有了一個入門,很多的東西需要不斷的思考以及總結。現在開始深度學習的學習,仍然做課程筆記,記錄自己的一些收穫以及思考。   第一週 1. ReLU (Rectified

小宋深度學習之旅小白入門教程0

這是針對和我一樣非計算機專業小白開發人員,基於TensorFlow框架,Python語言,主要使用Windows平臺開發的深度學習,小白入門教程。 先put出一個示例程式碼 Hello World 程式碼: # encode : utf-8 import tens

分享《深度學習之Pytorch廖星宇著》+《PyTorch深度學習實戰侯宜軍 著》+源代碼

https col ges tps jpg 51cto 技術分享 分享圖片 pan 下載:https://pan.baidu.com/s/1ewm1x3UeMe283PQVbDVIoA 更多資料分享:http://blog.51cto.com/3215120 《深度學習之P

機器學習深度學習系列連載: 第二部分 深度學習深度學習技巧4Deep learning tips- Dropout

深度學習技巧4( Dropout) Dropout 在2012年imagenet 比賽中大放異彩,是當時CNN模型奪冠的功勳環節之一。 那什麼是Dropout 我們先直觀的理解: 練武功的時候,訓練的時候腳上綁上重物 等到練成下山的時候: 我們從幾個方面來解

人工智慧頂級會議論文彙總全文下載 | 報告視訊

ICML (International Conference on Machine Learning) 2018 | 2017 | 2016 | 2015 | 2014 | 2013 | 2011 對應presentation錄製視訊 2015 |  NIPS

008、Docker 元件如何協作2018-12-25 週二

參考 https://www.cnblogs.com/CloudMan6/p/6774519.html   以httpd為例,介紹Docker元件間如何協作   [email protected]:~# docker run -

機器學習面試問題集2018-3-13更新

1 基礎概念 1.1 熵、聯合熵、條件熵、交叉熵與相對熵的意義? 1.2 歸一化方法? 1、線性函式歸一化(Min-Max scaling) 線性函式將原始資料線性化的方法轉換到[0 1]的範圍,歸一化公式如下: 2、0均值標準

小心深度學習這個“坑”入門誤區詳細版

定位:深層學習在哪1、深層學習需要什麼?數學線性代數:是有關任意維度空間下事物狀態和狀態變化的規

【深入淺出】| 基於深度學習的機器翻譯附PDF+視訊下載

由公眾號"機器學習演算法與Python學習"整理源|將門創投本文所分享的是清華大學劉洋副教授講解

深度學習環境配置Nvidia驅動+CUDA+cuDNN

深度學習環境配置 NVIDIA驅動安裝 在安裝驅動之前一定需要確認一下自己的顯示卡的型號,AMD就不用說了,現在不支援。Nvidia顯示卡也需要注意一下是否為10系(1080Ti,1080,1070…),如果為10系而且主機板上沒有整合顯示卡的時候,這個

Pycharm專業版免費啟用的三種方法2018-6月最新

方法一、伺服器啟用下載VPN:GITHUB開源VPN (目前是免費的,可以用來上谷歌和FB,下載前記得給star哦)安裝pycharm,選擇 Activate new license with License server (用license server 啟用) 點選 Ac

程式設計師的中年該如何度過2018-6-20年中

最近看了不少關於中年危機的文章,一直覺得自己只是一個看客,中年危機似乎離自己還有一段時間。然而,突然又覺得自己是不是已經邁入了中年?自己有沒有認真思考過這個問題?看看自己已經三十出頭,臉龐漸寬,不注重形象與健身,自從有了孩子生活也被填的滿滿的,所有時間是在路上,在上班,看娃,