花式卷積

depthwise separable convolution（續）

它包含一個深度方面的卷積（一個為每個通道單獨執行的空間卷積，depthwise convolution），後面跟著一個逐點的卷積（一個跨通道的1×1卷積，pointwise convolution）。我們可以將其看作是首先求跨一個2D空間的相關性，然後再求跨一個1D空間的相關性。可以看出，這種2D+1D對映學起來比全 3D 對映更加簡單。

在ImageNet資料集上，Xception的表現稍稍優於Inception v3，而且在一個有17000類的更大規模的影象分類資料集上的表現更是好得多。而它的模型引數的數量僅和Inception一樣多。

論文：

《Xception: Deep Learning with Depthwise Separable Convolutions》

程式碼：

Francois Chollet，法國人。現為Google研究員。Keras的作者。

參考：

tf.nn.depthwise_conv2d如何實現深度卷積?

tf.nn.separable_conv2d如何實現深度可分卷積?

和Xception類似的還有MobileNets。

論文：

《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》

程式碼：

參考：

向手機端神經網路進發：MobileNet壓縮指南

MobileNet在手機端上的速度評測：iPhone 8 Plus竟不如iPhone 7 Plus

參考

Convolution arithmetic

Convolution arithmetic

如何理解空洞卷積（dilated convolution）？

這12張圖生動的告訴你，深度學習中的卷積網路是怎麼一回事？

一文全解深度學習中的卷積

卷積神經網路結構變化——可變形卷積網路deformable convolutional networks

Deconvolutional Networks

CNN-反捲積

Transposed Convolution, Fractionally Strided Convolution or Deconvolution（中文blog）

Implementing convolution as a matrix multiplication（中文blog）

變形卷積核、可分離卷積？CNN中十大拍案叫絕的操作！

可變形卷積網路：計算機新“視”界

CMU研究者探索新卷積方法：在實驗中可媲美基準CNN

微軟亞洲研究院：逐層集中Attention的卷積模型

不規則卷積神經網路

Winograd

矩陣方面的數值計算，Shmuel Winograd是一個無法繞開的人物。

Shmuel Winograd, 1936年生，MIT本碩（1959年）+紐約大學博士（1968年）。此後一直在IBM當研究員，直到退休。IEEE Fellow，ACM Fellow，美國科學院院士。

Winograd FFT algorithm：一種FFT演算法。FFT演算法有很多，最知名的是Cooley–Tukey FFT algorithm。

Coppersmith–Winograd algorithm（1987年）：目前最快的矩陣乘法演算法。複雜度是O(n2.375477)。矩陣乘法定義的複雜度是O(n3)。第一個小於3的演算法是Strassen algorithm（1969年）（O(n2.807355)）。

Winograd small(short/minimal) convolution algorithm：一種快速的卷積演算法，目前AI晶片領域的基礎演算法。

論文：

《The Coppersmith-Winograd Matrix Multiplication Algorithm》

《Fast Algorithms for Convolutional Neural Networks》