基於deep learning的影象分類問題
阿新 • • 發佈：2018-12-31
1、提高訓練速度：
Nonlinearity：採用ReLU（Restricted
Linear Units）作為啟用函式，相對於傳統的啟用函式可以更快速地收斂；
Training on Multiple GPUs：採用2塊顯示卡來進行平行計算，在網路結構上，部分分佈在不同顯示卡上面的前後層節點之間無連線，從而提高計算速度
2、減少過擬合
Overlapping Pooling
Data Augmentation
3、提升識別效能
Local Response Normalization：同層相鄰節點的響應進行區域性歸一化提高了識別率；
Dropout：將一些隱藏層節點的輸出置零， 
5個卷積層+3個全連線層
2、4、5卷積層的輸入均來自同一塊GPU
上圖模型的基本引數為：第一個卷積層用96個大小為11*11*3的卷積核對224*224*3的影象進行步幅為4的卷積。第二個卷積層將前一層降取樣層的輸出作為輸入，做256個卷積核為5*5*48的卷積。第三四五個卷積層都直接連線上一層，沒有經過降取樣和標準化。第三卷積層有384個3*3*256的卷積核，第四卷積層有256個3*3*192個卷積層，第五卷積層有256個3*3*192的卷積核。全連線層每個有4096個神經元，最後一層是softmax組成的輸出決策層（輸出節點數等於類別數目），輸出的每一維都是圖片屬於該類別的概率。第二、四、五個卷積層只與上層在同一個GPU上的特徵圖連線，第三個卷積層與第二個卷積層的所有特徵圖連線。全連線層的神經元與上一層的所有神經元連線。響應標準化層在第一和第二個卷積層之後，降取樣層Stochastic-pooling在響應標準化層和第五個卷積層之後。修正線性單元 ( ＲeLUs，rectified linear units) 作為非線性啟用函式，在每個卷積層和全連線層都有應用。