轉載來自：http://blog.csdn.net/maweifei/article/details/52443995

第一層——數學部分

（注意：包括上圖在內的一些圖片來自於 Micheal Nielsen 的 「神經網路與深度學習（ Neural Networks and Deep Learning）」一書。我強烈推薦這本書。這本書可免費線上瀏覽.）當我們使用兩個而不是一個 5 x 5 x 3 的過濾器時，輸出總量將會變成  28 x 28 x 2。採用的過濾器越多，空間維度（ spatial dimensions）保留得也就越好。數學上而言，這就是卷積層上發生的事情。

第一層——高層次角度

左圖：過濾器的畫素表示；右圖：曲線檢測器過濾器的視覺化；對比兩圖可以看到數值和形狀的對應

回到數學角度來看這一過程。當我們將過濾器置於輸入內容的左上角時，它將計算過濾器和這一區域畫素值之間的點積。拿一張需要分類的照片為例，將過濾器放在它的左上角。

左圖：原始影象；右圖：影象上過濾器的視覺化

切記，我們要做的是將過濾器與影象的原始畫素值相乘。

左圖：感受野的視覺化；右圖：感受野的畫素表示 * 過濾器的畫素表示

簡單來說，如果輸入影象上某個形狀看起來很像過濾器表示的曲線，那麼所有點積加在一起將會得出一個很大的值！讓我們看看移動過濾器時會發生什麼。

這個值小了很多！這是因為影象的這一部分和曲線檢測器過濾器不存在對應。記住，這個卷積層的輸出是一個啟用對映（activation map）。因此，在這個帶有一個過濾器卷積的例子裡（當篩選值為曲線檢測器），啟用對映將會顯示出影象裡最像曲線的區域。在該例子中，28 x 28 x 1 的啟用對映的左上角的值為 6600。高數值意味著很有可能是輸入內容中的曲線激活了過濾器。啟用地圖右上角的值將會是 0，因為輸入內容中沒有任何東西能啟用過濾器（更簡單地說，原始圖片中的這一區域沒有任何曲線）。這僅僅是一組檢測右彎曲線的過濾器。還有其它檢測左彎曲線或直線邊緣的過濾器。過濾器越多，啟用對映的深度越大，我們對輸入內容的瞭解也就越多。

宣告：我在本小節中描繪的過濾器（filter）只是為了描述卷積中的數學過程。在下圖中你可以看到訓練後的網路中第一個卷積層的過濾器的實際視覺化。儘管如此，主要觀點仍舊不變。當在輸入內容中尋找特定特徵時，第一層上的過濾器在輸入影象上進行卷積運算和「啟用」（即計算高數值）。

上圖來自於斯坦福大學由 Andrej Karpathy 和 Justin Johnson 授課的 CS 231N課程，推薦給渴望更深層理解 CNN 的人們。

網路中的更深處

輸入→卷積→ReLU→卷積→ReLU→池化→ReLU→卷積→ReLU→池化→全連線

我們稍後再來討論關鍵的最後一層，先回顧一下學到了哪些。我們討論了過濾器是如何在第一個卷積層檢測特徵的。它們檢測邊緣和曲線一類的低階特徵。正如想象的那樣，為了預測出圖片內容的分類，網路需要識別更高階的特徵，例如手、爪子與耳朵的區別。第一個卷積層的輸出將會是一個 28 x 28 x 3 的陣列（假設我們採用三個 5 x 5 x 3 的過濾器）。當我們進入另一卷積層時，第一個卷積層的輸出便是第二個卷積層的輸入。解釋這一點有些困難。第一層的輸入是原始影象，而第二卷積層的輸入正是第一層輸出的啟用對映。也就是說，這一層的輸入大體描繪了低階特徵在原始圖片中的位置。在此基礎上再採用一組過濾器（讓它通過第 2 個卷積層），輸出將是表示了更高階的特徵的啟用對映。這類特徵可以是半圓（曲線和直線的組合）或四邊形（幾條直線的組合）。隨著進入網路越深和經過更多卷積層後，你將得到更為複雜特徵的啟用對映。在網路的最後，可能會有一些過濾器會在看到手寫筆跡或粉紅物體等時啟用。如果你想知道更多關於視覺化卷積網路中過濾器的內容，可以檢視 Matt Zeiler 和 Rob Fergus 的一篇討論該問題的頗為傑出的研究論文。在 YouTube 上，Jason Yosinski 有一段視訊十分視覺化地呈現了這一過程（如下）。有趣的是，越深入網路，過濾器的感受野越大，意味著它們能夠處理更大範圍的原始輸入內容（或者說它們可以對更大區域的畫素空間產生反應）。

完全連線層

檢測高階特徵之後，網路最後的完全連線層就更是錦上添花了。簡單地說，這一層處理輸入內容（該輸入可能是卷積層、ReLU 層或是池化層的輸出）後會輸出一個 N 維向量，N 是該程式必須選擇的分類數量。例如，如果你想得到一個數字分類程式，如果有 10  個數字，N 就等於 10。這個 N 維向量中的每一數字都代表某一特定類別的概率。例如，如果某一數字分類程式的結果向量是 [0 .1 .1 .75 0 0 0 0 0 .05]，則代表該圖片有 10% 的概率是 1、10% 的概率是 2、75% 的概率是 3、還有 5% 的概率是 9（注：還有其他表現輸出的方式，這裡只展示了 softmax 的方法）。完全連線層觀察上一層的輸出（其表示了更高階特徵的啟用對映）並確定這些特徵與哪一分類最為吻合。例如，如果該程式預測某一影象的內容為狗，那麼啟用對映中的高數值便會代表一些爪子或四條腿之類的高階特徵。同樣地，如果程式測定某一圖片的內容為鳥，啟用對映中的高數值便會代表諸如翅膀或鳥喙之類的高階特徵。大體上來說，完全連線層觀察高階特徵和哪一分類最為吻合和擁有怎樣的特定權重，因此當計算出權重與先前層之間的點積後，你將得到不同分類的正確概率。

一種全卷積神經網路（LeNet），從左至右依次為卷積→子取樣→卷積→子取樣→全連線→全連線→高斯連線

訓練（也就是：什麼能讓其有效）

下面是神經網路中的一個我尚未提及但卻最為重要的部分。閱讀過程中你可能會提出許多問題。第一卷積層中的濾波器是如何知道尋找邊緣與曲線的？完全連線層怎麼知道觀察哪些啟用圖？每一層級的濾波器如何知道需要哪些值？計算機通過一個名為反向傳播的訓練過程來調整過濾器值（或權重）。

在探討反向傳播之前，我們首先必須回顧一下神經網路工作起來需要什麼。在我們剛出生的時候，大腦一無所知。我們不曉得貓啊狗啊鳥啊都是些什麼東西。與之類似的是 CNN 剛開始的時候，權重或過濾器值都是隨機的。濾波器不知道要去尋找邊緣和曲線。更高層的過濾器值也不知道要去尋找爪子和鳥喙。不過隨著年歲的增長，父母和老師向我們介紹各式各樣的圖片並且一一作出標記。CNN 經歷的便是一個介紹圖片與分類標記的訓練過程。在深入探討之前，先設定一個訓練集，在這裡有上千張狗、貓、鳥的圖片，每一張都依照內容被標記。下面回到反向傳播的問題上來。

反向傳播可分為四部分，分別是前向傳導、損失函式、後向傳導，以及權重更新。在前向傳導中，選擇一張 32×32×3 的陣列訓練影象並讓它通過整個網路。在第一個訓練樣例上，由於所有的權重或者過濾器值都是隨機初始化的，輸出可能會是 [.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]，即一個不偏向任何數字的輸出。一個有著這樣權重的網路無法尋找低階特徵，或者說是不能做出任何合理的分類。接下來是反向傳播的損失函式部分。切記我們現在使用的是既有影象又有標記的訓練資料。假設輸入的第一張訓練圖片為 3，標籤將會是 [0 0 0 1 0 0 0 0 0 0]。損失函式有許多種定義方法，常見的一種是 MSE （均方誤差）。

假設變數 L 等同該數值。正如所料，前兩張訓練圖片的損失將會極高。現在，我們直觀地想一下。我們想要預測標記（卷積網路的輸出）與訓練標記相同（意味著網路預測正確）。為了做到這一點，我們想要將損失數量最小化。將其視為微積分優化問題的話，也就是說我們想要找出是哪部分輸入（例子中的權重）直接導致了網路的損失（或錯誤）。

這是一個 dL/dW 的數學等式，W 是特定層級的權重。我們接下來要做的是在網路中進行後向傳導，測定出是哪部分權重導致了最大的損失，尋找調整方法並減少損失。一旦計算出該導數，將進行最後一步也就是權重更新。所有的過濾器的權重將會更新，以便它們順著梯度方向改變。

學習速率是一個由程式設計師決定的引數。高學習速率意味著權重更新的動作更大，因此可能該模式將花費更少的時間收斂到最優權重。然而，學習速率過高會導致跳動過大，不夠準確以致於達不到最優點。

總的來說，前向傳導、損失函式、後向傳導、以及引數更新被稱為一個學習週期。對每一訓練圖片，程式將重複固定數目的週期過程。一旦完成了最後訓練樣本上的引數更新，網路有望得到足夠好的訓練，以便層級中的權重得到正確調整。

測試

最後，為了檢驗 CNN 能否工作，我們準備不同的另一組圖片與標記集（不能在訓練和測試中使用相同的！）並讓它們通過這個 CNN。我們將輸出與實際情況（ground truth ）相比較，看看網路是否有效！