第十七週學習週報（20180625-2018060701）
第十七週學習週報
一、本週學習情況
1、李巨集毅老師的機器學習課程學完
2、完成了機器學習課程後面的部分作業
3、學習了LeNet-5模型
4、看了caffe識別手寫數字的原始碼
二、學習筆記
LeNet
LenNet-5共有7層（不包括輸入層），每層都包含不同數量的訓練引數。
LeNet-5中主要的有卷積層、下抽樣層、全連線層3中連線方式。
卷積層採用的都是5x5大小的卷積核，且卷積核每次滑動一個畫素，一個特徵圖譜使用同一個卷積核。
每個上層節點的值乘以連線上的引數，把這些乘積及一個偏置引數相加得到一個和，把該和輸入啟用函式，啟用函式的輸出即是下一層節點的值。卷積核有5x5個連線引數加上1個偏置共26個訓練引數。這樣區域性連線、引數共享的方式，在數學上相當於上一層節點矩陣與連線引數矩陣做卷積得到的結果矩陣，即下一層的節點值。
Output層也是全連線層，共有10個節點，分別代表數字0到9，且如果節點i的值為0，則網路識別的結果是數字i。採用的是徑向基函式（RBF）的網路連線方式。假設x是上一層的輸入，y是RBF的輸出，則RBF輸出的計算方式是：
卷積過程包括：用一個可訓練的濾波器fx去卷積一個輸入的影象（第一階段是輸入的影象，後面的階段就是卷積特徵map了），然後加一個偏置bx，得到卷積層Cx。
子取樣過程包括：每鄰域四個畫素求和變為一個畫素，然後通過標量Wx+1加權，再增加偏置bx+1，然後通過一個sigmoid啟用函式，產生一個大概縮小四倍的特徵對映圖Sx+1。
三、下週學習計劃
1、學習李巨集毅老師的深度學習課程
2、學習caffe的原始碼