隨著計算機視覺的發展，語義分割成為了很多應用場景必不可少的一環。 比如網絡直播有著實時剔除背景的要求，自動駕駛需要通過語義分割識別路面，與日俱增的應用場景對語義分割的精度和速度的要求不斷提高。同時，語義分割數據集也在不斷地進化，早期的Pascal VOC2，其分辨率大多數在1000像素以下。而Cityscape的語義分割數據集分辨率全部達到了1024*2048，總共5000張圖片（精細標註），包含19類。這些數據集對研究者，計算設備，甚至框架都帶來了更大的考驗。

DeepLab v3+ 是DeepLab語義分割系列網絡的最新作，其前作有 DeepLab v1，v2, v3, 在最新作中，Liang-Chieh Chen等人通過encoder-decoder進行多尺度信息的融合，同時保留了原來的空洞卷積和ASSP層， 其骨幹網絡使用了Xception模型，提高了語義分割的健壯性和運行速率。其在Pascal VOC上達到了 89.0% 的mIoU，在Cityscape上也取得了 82.1%的好成績，下圖展示了DeepLab v3+的基本結構4：

DeepLab v3+在主幹網絡之後連接了Encoder和Decoder，能夠在擴大網絡感受的同時獲得更加高清的分割結果。

在PaddlePaddle的模型庫中已經包含了DeepLab v3+的訓練以及測試的代碼。我們首先安裝最新版本的PaddlePaddle並且下載PaddlePaddle的模型庫：

當模型倉庫成功克隆，你將可以在目錄fluid/PaddleCV/deeplabv3+ 下看到用於訓練以及測試的代碼：

二、開始訓練

當數據和代碼都已經準備好，我們可以開始訓練了，訓練的參數和指令如下：

在這個命令中，我們沒有使用任何預訓練模型，從噪音開始訓練DeepLab v3+。並且是直接使用全分辨率進行訓練（1024x2048，batch size=1）。幾個比較關鍵的參數解釋如下：

環境變量CUDA_VISIBLE_DEVICES=0限制了訓練過程僅使用一張GPU，如果存在多張GPU，可以通過修改參數來得到訓練速度的提升。

環境變量FLAGS_fraction_of_gpu_memory_to_use=0.99， 該環境變量將會讓PaddlePaddle占用99%的顯存，可以根據實際情況進行調節。

環境變量inplace_normalize=1，該參數是PaddlePaddle進行顯存優化的關鍵，打開該開關將會讓框架對normalize layer進行 inplace 操作來優化顯存，現在支持的 normalize layer 有 group normalize。

環境變量fuse_relu_before_depthwise_conv=1，該參數是顯存優化的另一個關鍵參數。這個參數會融合relu和depthwise conv來優化顯存。

參數--save_weights_path=$YOUR_SAVE_WEIGHTS_PATH， 這裏你需要填入保存模型的路徑。

參數--dataset_path=$YOUR_DATASET_PATH， 這裏你需要填入數據集的路徑。

三、空間時間消耗分析

根據打印出來的信息，我們可以發現，PaddlePaddle在訓練DeepLab v3+時，輸入一張全分辨率的圖片，顯存消耗為10.2GB。得益於顯存消耗小於11G，我們可以使用1080ti完成訓練，訓練中每次叠代速度約為0.85s。

我們還可以使用工具，分析DeepLab v3+各部分顯存消耗情況：

在該圖中，顯存消耗最多的是主幹網絡，占用了68.1%，其次是decoder部分，占用了16.4%，以及encoder占用了5.3%，剩下其他部分為損失函數和數據預處理的顯存消耗。

顯存消耗最多的是主幹網絡，占用了68.1%，我們可以繼續查看主幹網絡內部顯存消耗情況：

這個圖展示了在主幹網絡中的顯存消耗，Xception主幹網絡主要由三部分組成， EntryFlow，MiddleFlow，以及ExitFlow，可以發現顯存消耗最大的是EntryFlow。

在上圖中，我們可以發現，盡管Xception主幹網絡層數最多的部分是MiddleFlow，但是顯存消耗最大的卻是EntryFlow，這是因為在EntryFlow裏的特征還沒有被充分下采用，分辨率相當高，同時EntryFlow裏的通道數也不容小覷，因此造成了EntryFlow巨大的顯存開銷，這也為我們的優化指明了方向。

DeepLab v3+使用的主幹網絡 Xception， MiddleFlow中的分離卷積塊重復了16次，層數相比較EntryFlow和ExitFlow要多得多，然而顯存消耗最大的卻是EntryFlow。

框架對比

除開對網絡內部的顯存消耗進行分析，我們還對不同框架的顯存消耗進行了對比，下表展示了PaddlePaddle和TensorFlow1.12的顯存消耗以及性能對比，以下對比實驗使用的輸入數據是1024x2048全分辨率的圖片，batch size為1，測試設備P40(24G)：

四、優化原理

這裏我們采用的顯存優化策略是 fuse_relu_before_depthwise_conv 和 inplace_normalize。顧名思義,fuse_relu_before_depthwise_conv 是講relu和depthwise_conv融合為同一個operator, 達到顯存的節省。而 inplace_normalize 則是使用原地操作來節省顯存。在卷積神經網絡中，conv+normalize+activation是常見模式，在這種模式下，使用這兩種優化策略，可以節省3倍的顯存。這兩種優化策略歸納起來就是操作融合和原地計算, 是顯存優化中的常見策略, 對於不同的框架常常需要耗費人力進行開發, 而我們通過paddle的顯存優化可以很輕松的實現這一點。 該優化圖示如下：

在該圖中，紅框標註的data為會消耗顯存的數據塊，可以看到，通過inpalce和fuse兩種操作，原來需要存儲6個數據塊，優化後僅僅需要2個數據塊。

在上圖中，我們可以發現，inplace和fuse兩種操作，都分別幫助我們在每一個conv+normalize+activation塊中節省了1個數據塊，所以顯存節省的更多了，我們的分割網絡也可以消耗更少的顯存資源。

總結

顯存空間優化和時間優化一樣，對空間消耗的壓榨是沒有止境的。層出不窮的模型，各種不同的優化方式，都對框架提出了很高的要求，選擇一款兼顧效果和性能的深度學習框架，往往能夠讓項目事半功倍。

一塊GPU就能訓練語義分割網絡，百度PaddlePaddle是如何優化的？