深度學習記錄

一、 第一階段：基本知識的學習

小菜是從2016年6月初開始接觸強大而神祕的Deep Learning，之前一直在學習傳統的機器學習，學習DL之前，所接觸的DL也就是每次參加從實驗室的組會，聽師姐彙報一些DL的理論知識，還有就是每次和一些大牛聊天的時候聽他們說DL是多麼的強大多麼的牛X。今年出來實習，在我的實習老師的帶領下終於可以開始DL之旅了，所以寫點學習的記錄，希望自己能在這條路上能堅持下去而且有所收穫。一開始是學習基本的理論知識分為三個階段：

學習UFLDL

這是我開始學習DL的第一份資料，是斯坦福大學DL基礎教學課程，是由國內牛人翻譯的。因為之前瞭解多一點點相關的知識，所以看起來不覺得很吃力，看的也比較粗糙，裡面許多數學公式沒有自己推導一遍（有時間還是要回去再仔細看看的），

學習cs231n

這裡我得感謝我的實習老師張xx，我的學習安排一開始都是他指導的。因為公司沒有網路，所以學習cs231n主要是靠儲存網頁，學習的相關筆記和查詢的資料都有儲存和記錄。cs231n也是斯坦福的教程，裡面的內容也是DL的基礎的理論知識，講了神經網路和CNN。學完cs231n就開始研究比較經典的基於DL的分類論文了。

研究最近幾年基於DL分類的經典論文

1.      Alexnet論文

此論文是2012年的一篇關於cnn比較經典的一篇論文，後面的論文都是受到其的影響，可以說是它掀起了DL的學習熱潮。其中的網路架構是由8層網路層（5層卷積、3層全連線層），而且利用了2個GPU平行計算部分卷積層的計算過程。此網路架構在ILSVRC-2012獲得很好的效果，從此也掀起了DL的學習熱潮。具體的細節總結我已經記錄在相應的學習總結文件了，可以參考相應的總結文件。

2.      ZFnet論文

這篇論文主要的貢獻是將卷及神經網路的隱藏層的特徵進行反捲積網路，從而得到特徵的視覺化，後面通過視覺化的展示來分析如何構建更好的網路結構。最後還描述了該網路中的每層對整體分類效能的貢獻，還對了該模型在其他資料集上取得的成績，該模型擊敗了Caltech-101和Caltech-256測試集的歷史最好的成績。具體的細節總結我已經記錄在相應的學習總結文件了，可以參考相應的總結文件。

3.      其他論文

這裡就不一一介紹看過的論文了，就一次性說一下，小菜最近有點忙（嘿嘿~ ~），沒有多餘的時間去詳細的寫這些看過的論文。小菜後期還看了VGG、Google、SPP、PReLU、BN論文，都是分類的論文，也都是這幾年ILSVRC比賽前幾名的論文，相關的學習總結和查閱的相關的資料小菜都有儲存，想要研究論文細節也可以參考小菜寫的學習筆記。

小菜的DL基礎理論知識學習的階段算是有一段時間了，從入門到現在也有一個多月，學習還是有所收穫的，不過理論知識學習的不是很紮實。小菜現在準備開始搭caffe的框架了，老早就想著實際跑跑開源的網路框架，小菜也明白後面的路不好走，但是小菜會努力的。現在就等著顯示卡了（嘿嘿~ ~）。

二、 第二階段：實踐操作—caffe的搭建和運用

個人覺得小菜還是很幸運的（哈哈…..），在我學習了DL的基本理論知識後，急需顯示卡的時候，公司有位前輩（以前是做深度學習的方向的）突然辭職。小菜就這樣順利的拿到了夢寐以求的顯示卡，公司唯一一塊顯示卡，是NVIDIA的TITAN x系列的價值一萬左右。小菜當時拿到顯示卡是無比的激動和興奮的。不過這塊顯示卡有點大，直接放到我的主機上還是有點不方便，後來小菜就把自己的硬碟拆下來放到前輩的機箱裡，好了！！！到了這裡小菜是有顯示卡的人了，從此小菜開啟了caffe之旅了！！！！！

Caffe的初始

在使用caffe之前，小菜去網上看了許多關於caffe的介紹的資料和部落格，還看了caffe的作者賈楊清的一個關於caffe的介紹。看完這些前期的資料，也算是對caffe有了一個大致的瞭解，同時小菜也總結了自己看的caffe資料，最後也把總結筆記寫到自己的caffe學習筆記中，小菜還無私一下把自己寫的筆記上傳部落格上，你可以去看看小菜的部落格（csdn）：xjz18298268521。

Caffe框架的搭建

小菜非常感激實習老師張xx，我的caffe搭建是參照他的學習筆記的，在這裡感謝他的無私奉獻。我的caffe是Windows下搭建的，小菜是花了將近四天左右才把caffe完全搭好了，中間也出現了很多問題，有時候問題真的然小菜無語了。小菜在這裡總結一下：“其實遇到問題是好事，一帆風順並不一定是好事，經過大學和研究生的一年的歷練，小菜覺得所有遇到的問題都會解決的，只要你堅持住並努力去解決。”小菜也把自己的搭建caffe框架的步驟和遇到的問題以及問題的解決方法都記錄下來了，已經上傳到CSDN（xjz18298268521）的部落格上去了，有興趣的可以去看看。

Caffe的實戰操作

小菜用caffe跑的第一個例子就是mnist的例子，最後的訓練準確率達到了95%，當時還是很興奮的，後面小菜又在網上找了一個數據集，資料集一共有600張圖片，共6類圖片，每類是120張，100張train和20張test。最後用的是caffenet模型進行訓練和測試自己的圖片集的實驗，最終的測試還是比較理想的。所有的實踐操作小菜都有總結學習筆記上傳到部落格了。

完成上面的caffe學習和入門級的實踐操作，一開始我苦於沒有資料集，自己在監控視訊中擷取少量的資料集。這裡吐槽一下，一下午盯著監控視訊眼都盯花了。後來我下載了xxx的資料庫，訓練集8400張，測試集8400張。有了資料集小菜訓練了caffenet、Googlenet、vgg。

後面小菜想在檢測方面學習研究一下，還有機會小菜想看看caffe裡面的原始碼和介面。後面還有許多東西要學，越來越發現小菜真的是很菜，要學的東西太多。。。。。。