卷積神經網路的不變性

  不變性的實現主要靠兩點：大量資料（各種資料）；網路結構（pooling）

不變性的型別

  1）平移不變性
  卷積神經網路最初引入區域性連線和空間共享，就是為了滿足平移不變性。
  關於CNN中的平移不變性的來源有多種假設。
  一個想法是平移不變性是由於連續卷積層中神經元的感受野尺寸增加。另一個可能性是不變性是由於pooling操作。我們開發了一個簡單的工具，即平移靈敏度圖，我們用它來視覺化和量化各種體系結構的平移不變性。我們得到了令人驚訝的結果，諸如池層數和卷積濾波器大小之類的架構選擇僅對網路的平移不變性具有次要影響。

  2）旋轉和視角不變性
  個人覺得卷積神經網路克服這一不變性的主要手段還是靠大量的資料。並沒有明確加入“旋轉和視角不變性”的先驗特性。Deformable Convolutional Networks似乎是對此變性進行了進行增強。

  3）尺寸不變性
  我們知道filter的size是事先選擇的，而不同的尺寸所尋找的形狀（概念）範圍不同（就是說感受野不同）。可以說Inception是為了尺寸不變性而引入的一個先驗知識。