前言

近兩年來，有關模型壓縮的論文越來越多，人們不再一昧的只追求強大的效能，而是開始慢慢的將模型的大小、運算量以及效率考慮進來，人們做的越來越多的是，在效能可接受的範圍內，模型越小越好。這也說明了一點，深度學習模型已經開始被廣泛的運用在了平常的生活當中，可以理解為現在的手機和以前的大哥大之間的關係。今天分享的一篇文章是今年ICCV的一篇入選論文，是南京大學的作品：ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression，所提出的一種與以往方式不同的模型裁剪方案。

動機

Pruning Filters for Efficient Convnets

、APoZ，這兩篇文章可以作為之前公認效果很好的模型壓縮的代表，他們分別從每一層的weight以及輸出的feature map出發，通過評價weight或者feature map的重要性，將對應的filter給裁掉，來達到模型壓縮的效果。

可以這麼說，這兩種所代表的方法，都是根據這一層的weight或者feature map，來決定當層所需要被裁掉的引數，但是本文的作者認為，這兩種方法，都沒有考慮到由於這樣的裁剪給下一層會帶來什麼樣的影響，因此作者提出了一個這樣的想法，如果能夠利用第i+1層的輸入的一個子集，就能夠產生和原始輸出近似的結果，那麼我們就可以將剩下沒有用到的輸入給剔除掉，那麼上一層對應的輸出以及相應的filter也被提出，這樣既可以兼顧到由於裁剪所帶來的影響，也可以達到模型壓縮的效果，見下圖。

方案

由於涉及到feature map，因此本文也是資料驅動的方法。在卷積層中，一個卷積操作可以看成以下方式：
其中 每一個input channel的卷積結果，而輸出為這些結果在所有input channel的求和，如果我們能夠找到一個input channel的子集，可以滿足，也就是說，如果我只用原始輸入的一部分就能夠達到和原始輸入一樣的效果，那我也就沒有要其他剩下輸入的必要了。於是就變成了以下優化問題：

為了方便求解，可以看成：

其中T為S在C上的補集，也就是說這些輸入在經過卷積之後的得到的輸出最小。

關於實現，作者是通過一種greedy的方式，在輸入通道中不斷遍歷得到的：

在得到了裁剪目標之後，就可以將這些對應的filter給裁剪掉，因為是filter級別的，因此可以適用在各種計算平臺上，實現起來也較簡單。在裁剪完畢之後，作者還另外做了一步，減少重構誤差：

其中 為剩餘輸入所產生的卷積結果，在這裡w可以看成在剩餘通道上的一個權重，可以這麼理解，剩餘的輸入可以看成一個具有很強表達能力的字典，而w就是這個字典用來表達原始輸出的係數，這樣就能用來進一步減少輸出與原始輸出之間的誤差。

最後一步就是finetuning，作者提出，在每一步裁剪之後，僅通過一個較小的學習步長來略微提升模型效能，這樣可以避免模型進入到區域性最優中，而在最後一步裁剪之後，再通過一個較大的學習步長來恢復模型的效能。

實驗結果

作者在ImageNet資料集上，使用VGG16和ResNet-50上得到的實驗結果如下：


總的來說，這種壓縮方法的效能還是不錯的。

總結

雖然目前的深度神經網路都具有非常強大的效能，具有非常好的表達能力，但是它的引數一定是存在冗餘的，如何能夠找到一種好的評價手段，來找到模型中這些冗餘的部分，並將它們剔除掉，也就是模型壓縮所做的事情。