• 1 端到端”學習方式
• 2 匯合(池化)層的引入是仿照人的視覺系統對視覺輸入物件進行降維（降取樣）和抽象。在卷積神經網路過去的工作中，研究者普遍認為匯合層有如下三種功效：

（1）特徵不變性。匯合操作使模型更關注是否存在某些特徵而不是特徵具體的位置。可看作是一種很強的先驗，使特徵學習包含某種程度自由度，能容忍一些特徵微小的位移。

（2）特徵降維。由於匯合操作的降取樣作用，匯合結果中的一個元素對應於原輸入資料的一個子區域，因此匯合相當於在空間範圍內做了維度約減，從而使模型可以抽取更廣範圍的特徵。同時減小了下一層輸入大小，進而減小計算量和引數個數。

（3）在一定程度上防止過擬合。

• 3 啟用函式

 啟用函式層，又稱非線性對映層。增加整個網路的非線性表達能力。

修正線型單元ReLu（Rectified Linear Unit），是目前深度卷積神經網路最常用的啟用函式之一。

ReLu（其大於0的部分為1；反之為0）有助於隨機梯度下降方法的收斂，比Sigmoid快6倍左右 。

• 4 全連線層

全連線層則起到將學到的特徵表示對映到樣本的標記空間的作用。

• 5 目標函式

用來衡量預測值與真實值之間的誤差。在當下的卷積神經網路中，交叉熵損失函式和ℓ2 損失函式分別是分類問題和迴歸問題中最為常用的目標函式。

• 6 神經網路的深度和寬度是表徵網路複雜度的兩個核心因素，不過深度相比寬度在增加網路的複雜性方面更加有效。
• 7 區域性感受野

小卷積核通過疊加可以取得與大卷積核同等規模的感受野，其優勢也很明顯，第一是多層的疊加，加深了網路的深度進而增強了網路容量和複雜度。第二是減少了引數個數。

分散式表示。神經網路中的分散式表示是指語義概念到神經元是一個多對多的對映。即每個語義概念由許多分佈在不同神經元中被啟用的模式表示，而每個神經元有可以參與到許多不同語義概念概念的表示中去。

稀疏特性。神經網路相應的區域多呈現稀疏的特性，響應區域集中且比例較小。