之前就購買了這本書，但是一直處於閒看的狀態，時至年底，深感不能再繼續之前狀態，故從正在閱讀的部分開始寫讀書筆記，之前的會在後邊補充。

原理和結構

卷積神經網路以其強大的計算機視覺能力倍受人們的青睞。
作者首先提出了三個觀點，也就是圖片的三個性質，分別是：

• 區域性性，
• 相同性，
• 不變性，也就是如果我們實現下采樣，它的基本性質儲存不變

上面的三個性質分別對應著卷積神經網路的三種思想。

全連線神經網路的有一系列隱藏層組成，每個隱藏層由若干個神經元組成，每個神經元與前一層的所有神經元相關聯，但是每一層中神經元相互獨立。對於處理影象並不是一個好的選擇。
卷積神經網路不同於一般的全連線神經網路，是一個3D容量的神經元，也就是以三個維度來排列的：寬度、高度、深度。它的主要層結構有三個：巻積層、池化層和全連線層

1.巻積層

巻積層是卷積神經網路的核心。

下面是作者總結的巻積層的性質

1. 輸入資料體的尺寸是W1*H1*D1
2. 4個超引數：濾波器數量K，濾波器空間尺寸F，滑動步長S，零填充的數量P。
3. 輸出資料體的尺寸W2*H2*D2,其中，W2=(W1-F+2P)/S+1,H2=(H1-F+2P)/S+1,D2=K.
4. 由於引數共享，每個濾波器包含的權重數目為F*F*D1,巻積層一共有F*F*D1*K個權重和K個偏置
5. 在輸出體資料中，第d個深度切片（空間尺寸是W2*H2）,用第d個濾波器和輸入資料進行有效卷積運算的結果，再加上第d個偏置
   對於卷積神經網路中的超引數，常見的設定是F=3,S=1,P=1。同時，這些引數也有著一些約定俗成的慣例和經驗。

2.池化層

通常在巻積層之間週期性的插入一個池化層，其作用是逐漸降低資料體的空間尺寸，這樣就能減少網路中引數的數量，減少計算資源浪費，有效的控制過擬合。


這種方式之所以有效，是因為之前提出的特徵不變形，也就是下采樣不會丟失圖片的特徵，因此將圖片縮小進行卷積運算能夠大大的降低卷積運算的時間。
最常用的的池化層形式是尺寸為2*2的視窗，滑動步長為2，對影象進行下采樣，會丟失75%的資訊，選擇其中最大的保留下來。
池化層的一些性質

1. 輸入資料的尺寸是W1*H1*D1
2. 有兩個需要設定的超引數，空間大小F和滑動步長S
3. 輸出資料體的尺寸是W2*H2*D2,其中，W2=（W1-F）/S+1,H2=(H1-F)/S+1,D2=D1
4. 對輸入進行固定函式的運算，沒有引數引入
5. 池化層中很少引入零填充

在實際中，通常有兩種方式，一種是F=2,S=2,這種池化有重疊，另外有一種是F=2,S=2，一般來說慎用比較大的池化視窗，以免對網路有破壞性。
除了最大值池化以外，還有一些其他的池化函式，如平均池化或者L2範數池化。在實際應用中，在巻積層之間引入最大值池化的效果最好，而通常在卷積神經網路的最後一層使用均值池化。

3.全連線層

全連線層和一般的神經網路一樣。
在這裡為了防止過擬合會引入Dropout，最近的研究表明，在進入全連線層之前，使用全域性平均池化能夠有效的降低過擬合。

總的來說，卷積神經網路包括以上三個層,還可以引入啟用函式增加模型的非線性，所以我們常見到的網路一般是巻積層和ReLU層放在一起，有時候前邊還有批標準化層，隨後緊跟著池化層，再不斷的重複，直到影象的尺寸縮小到一定的程度，然後展開特徵圖，連線全連線層，輸出結果
有兩點需要注意：
1、小濾波器的有效性。一般來說，幾個小濾波器的效果要好於大濾波器，唯一的不好是在反向傳播的過程之間的巻積層可能會佔用更多的記憶體
2、網路的尺寸

1. 輸入層：一般來說，輸入層的大小應該被2整除很多次。
2. 巻積層：儘可能的使用小濾波器，滑動步長取1.還有就是需要對輸入資料體進行零填充，以保證巻積層不會改變輸入資料體的空間尺寸
3. 池化層：負責空間維度進行下采樣，常用2*2，滑動2
4. 零填充：讓巻積層的輸入和輸出在空間維度上保持一致。