卷積運算

內積和外積中的內積被通常認為時卷積，可交換性是因為他經過了翻轉。但是神經網路中一般不應用翻轉。而是直接使用互相關函式：

動機

三大特性：稀疏互動、引數共享、等變表示。

稀疏互動：核的大小遠小於輸入。相對於全連線，一個輸入項隻影響較少神經元，大大減少運算量。

引數共享：也叫繫結權重，每個核的權重不變，遍歷整個輸入。使我們只需要少量引數，

等變表示：卷積網路具有平移等變的性質。

池化

應用於卷積層和啟用層之後，調整輸出。使其更容易運算並具有一定的平移不變性。並在一些需要處理不同大小的輸入輸出時很有用。

主要有：maxpool、averagepool、ROI池化，前兩個就是取最大值和取均值，還有個取最多值的池化。特殊的是ROI池化，這裡簡單介紹一下：ROI：感興趣區域

ROI池化：將不同大小的ROI池化為相同大小。步驟如下：

1. 根據輸入，將ROI對映到feature map上
2. 根據輸出塊大小，將ROI區域劃分為大小相近的塊。比如輸出是2*2，就劃分為2*2塊，每塊大小相近
3. 每塊進行max pooling

卷積與池化作為一種無限強的先驗

卷積：學得函式只包含區域性連線關係並具有平移不變性。

池化：每個單元都具有對少量平移的不變性。

當先驗不成立時不好用了就。

基本卷積函式的變體

padding方式：對最邊緣的資料進行填充以保持大小不變性。主要三種方式：

1. valid方式：不填充,最終輸出影象m-k+1.
2. same：填0保持輸入輸出大小不變。
3. full：填0足夠多，保持每個畫素在每個方向被訪問k次，最終輸出影象看睹m+k-1.

平鋪卷積：

。。。

結構化輸出

意思就是能力強，可以輸出各種型別吧。。舉例是注意力模型。

資料型別

沒看懂表述的意義，就是說卷積網路可以處理不同尺度的輸入輸出唄。。金字塔模型麼比如。

高效的卷積演算法

一個d維的核可以表示為d個向量的外積時，表示其可分離。可以使用分離後矩陣代替，大大降低引數量，提高預算速度。inception網路採用了此方式。

隨機或無監督的特徵

三種方式：

1. 簡單隨機化特徵核
2. 人工設定，如sift特徵，銳化特徵等
3. 使用無監督標準學習核。

已經不流行了，相對於監督訓練可以提供一些正則化，允許我們訓練更大的結構。

卷積網路的神經科學基礎

V1：初級視覺皮層。卷積網路主要覆蓋其三大特性：空間對映、簡單細胞、複雜細胞。

主流卷積神經網路介紹：

Fast-RCNN