摘要

最近的研究表明，當靠近輸入的層和靠近輸出的層之間的連線越短，卷積神經網路就可以做得更深，精度更高且可以更加有效的訓練。本文根據這一結論，提出了一種稠密卷積神經網路(Dense Convolutional Network,DenseNet)，這種結構將每一層與之前所有層相連線。傳統的L層卷積神經網路有L個連線——位於每一層和其後一層之間—，而我們的神經網路有L(L+1)2個直接連結。對於每一層，其輸入的特徵是之前所有的層，而它自己的特徵圖作為之後所有層的輸入。DenseNet有以下幾個引人注目的優點：緩解梯度消失問題，加強特徵傳播，鼓勵特徵複用，極大的減少了引數量。我們在四個極具競爭力的物體識別標準影象庫(CIFAR-10,CIFAR-100, SVHN, and ImageNet)對我們所提出的結構進行測試。結果表面DenseNet在大多數的測試影象庫中都獲得了最好的效果，然而它只需要很少的計算兩來達到很高的效能。程式碼參見

https://github.com/liuzhuang13/DenseNet。

DenseNet與ResNet對比

作者主要受ResNet和Highway NetWorks的啟發，通過與之後的某一層進行直接連線來傳遞資訊，下面我們直觀的從結構來看ResNet和DenseNet的差異。
假設一個單張的圖片x0輸入一個有L層的卷積網路，每層的激勵函式為Hl(⋅)，Hl(⋅)可以是BN、ReLU、Pooling、Conv等操作的集合。假設x1為第l層的輸出。

最原始的前饋卷積神經網路，將第l層的輸出作為第l+1層的輸入，所以第l層的輸出為：Xl=Hl(xl−1)。

ResNet除了本層與下一層的連線之外，還增加了一個skip-connection,即將l層和l-1層的輸出共同作為l+1層的輸入，即，第l層的啟用值不僅僅影響l+1層，而且還影響l+2層。所以第l層的輸出為：X

l=Hl(xl−1)+xl−1。

DenseNet則是讓l層的輸入直接影響到之後的所有層，它的輸出為：xl=Hl([X0,X1,…,xl−1])。並且由於每一層都包含之前所有層的輸出資訊，因此其只需要很少的特徵圖就夠了，這也是為什麼DneseNet的引數量較其他模型大大減少的原因。

DenseNet結構詳解

DenseNet的整體結構包含稠密塊（Dense Block）和過渡層（transition layers），可以簡單來可以看作是Dense Block-transition layers-Dense Block-transition layers···
如下圖：

要將結構分為Dense Block和transition layers的原因是，transition layer中包含的Poling層會改變特徵圖的大小，而Dense Block內部必須保證特徵圖的大小一致，否則這種層之間的連線方式就不可行了。
下面就來看看Dense Block內部結構吧。

上圖是一個包含五層，層寬度（Growth rate）為k=4的Dense Block,層與層之間的激勵函式（即Hl(⋅)）為BN-ReLU-Conv(3x3)的結構。這個Growth rate實際上就是每一層特徵圖的數量，這樣第l層就有k0+k×(l−1)個特徵圖了。
為了進一步減少引數輛，作者又作了以下改進：
* 將Hl(⋅)該為BN-ReLU-Conv(1x1)-BN-ReLU-Conv(3x3)的結構，記為DenseNet-B
* 為了進一步減少引數量，在DenseNet-B的基礎上，對過渡層的特徵圖進行壓縮，產生⌊θm⌋個特徵圖，其中0<θ≤1，為壓縮因子。

下面放上一張DenseNet與現有模型實驗對比圖：

前面是深度和引數量，後面是在各影象庫中測試的錯誤率，藍色表明結果最優。可以看到相比於其他模型DenseNet有更少的引數且出錯率更低。

缺點

DneseNet在訓練時十分消耗記憶體，這是由於演算法實現不優帶來的。當前的深度學習框架對 DenseNet 的密集連線沒有很好的支援，所以只能藉助於反覆的拼接（Concatenation）操作，將之前層的輸出與當前層的輸出拼接在一起，然後傳給下一層。對於大多數框架（如Torch和TensorFlow），每次拼接操作都會開闢新的記憶體來儲存拼接後的特徵。這樣就導致一個 L 層的網路，要消耗相當於 L(L+1)/2 層網路的記憶體（第 l 層的輸出在記憶體裡被存了 (L-l+1) 份）。為此作者又寫了一個技術報告（Memory-Efficient Implementation of DenseNets)專門針對這一問題，介紹如何提升對記憶體的使用率，同時提供的Torch, PyTorch, MxNet 以及 Caffe 的實現，程式碼參見：

論文只是粗略的看了，如果還有內容會繼續補充。