密集連線層（精度97.8%）------>卷積神經網路（99.3%）   兩者的區別在於：Dense層從特徵空間學到的是全域性模式，而卷積層學到時是區域性模式

1 卷積神經網路學到的模式具有平移不變性（視覺世界根本上來說就具有平移不變性），即在影象右下角學到某個模式後可以在任何地方識別這個模式。對於密集連線網路來說如果出現在新的位置，它只能重新學習這個模式。

2 卷積神經網路可以學到模式的空間層次結構（視覺世界根本上具有空間層次結構）。如下圖，第一個卷積層學習到區域性模式如邊緣，第二個卷積層將學習由第一層特徵組成的更大的模式。

卷積工作原理如上圖所示

輸出的寬度和高度可能和輸入的不同，原因：1 邊界效應（可以通過對輸入特徵圖進行填充來抵消） 2 使用了步幅（可以理解為取樣跨度）

最大池化運算：對特徵圖進行下采樣，特徵圖的尺寸都會減半   26*26------>13*13

最大池化是從輸入特徵圖中提取視窗，並輸出每個通道的最大值，通常使用2*2的視窗和步幅2，目的是下采樣2倍，一方面可以較少需要處理的特徵圖的元素個數，其次可以讓連續卷積層的觀察視窗越來越大，從而引入空間過濾器的層級結構。

用來解決小型資料集的影象分類的問題的思路：1從頭開始訓練一個小型模型  2用預訓練的網路做特徵提取（對於卷積神經網路而言特徵提取就是取出之前訓練好的網路的卷積基） 3 對預訓練的網路進行微調

在影象處理上，防止過擬合除了權重衰減和dropout，還可以使用資料增強（從現有的訓練樣本中生成更多的訓練資料，其方法是利用多種能夠生成可信影象的隨機變換（旋轉，平移，縮放）來增加樣本，其目標是在訓練時不會兩次檢視完全相同的影象，讓模型觀潮到更多內容）。