將深度卷積神經網路（Convolutional Neural Networks, 簡稱CNNs）用於影象識別在研究領域吸引著越來越多目光。由於卷積神經網路結構非常適合模型並行的訓練，因此以模型並行+資料並行的方式來加速Deep CNNs訓練，可預期取得較大收穫。Deep CNNs的單機多GPU模型並行和資料並行框架是騰訊深度學習平臺的一部分，騰訊深度學習平臺技術團隊實現了模型並行和資料並行技術加速Deep CNNs訓練，證實模型拆分對減少單GPU上視訊記憶體佔用有效，並且在加速比指標上得到顯著收益，同時可以以較快速度訓練更大的深度卷積神經網路，提升模型準確率。

        1. CNNs模型並行導論

        1.1. 典型應用分析：影象識別

        影象識別是深度卷積神經網路獲得成功的一個典型應用範例。

        圖1揭示了一個具有5個卷積層和3個全連線層的深度卷積神經網路，該模型可應用於影象分類。

                              圖1 ImageNet深度卷積神經網路模型

        使用GPU訓練深度卷積神經網路可取得良好的效果[1][2]，自2012年使用Deep CNNs模型在ImageNet影象分類挑戰中取得突破性成績，2013年的最佳分類結果也是由Deep CNNs模型取得。基於此，騰訊深度學習平臺技術團隊期望引入Deep CNNs來解決或優化影象分類問題和影象特徵提取問題，以提升在相應用例場景中的效果。

        1.2. 現有系統的問題

        在將CNN應用於影象相關領域的演算法研究以及CNN訓練平臺搭建的實踐過程中，受限於單個GPU上的視訊記憶體大小（例如：伺服器採購的顯示卡Tesla K20c可用視訊記憶體為4.8GB，ImageNet 2012論文[1]中用到的網路佔用視訊記憶體大約3.9GB），在嘗試調整引數和網路規模的實驗中，往往難以儲存下更大規模的深度卷積神經網路模型，使得包含較多引數的網路不能在單GPU上訓練，需要通過多GPU模型並行技術，拆分模型到多個GPU上儲存和訓練來解決。

        隨著訓練資料集擴充、模型複雜度增加，即使採用GPU加速，在實驗過程中也存在著嚴重的效能不足，往往需要十餘天時間才能達到模型的收斂，不能滿足對於訓練大規模網路、開展更多試驗的需求。

考慮到上述問題，在騰訊深度學習平臺的Deep CNNs多GPU並行訓練框架中，通過設計模型拆分方法、模型並行執行引擎和優化訪存效能的Transfer Layer，並吸收在資料並行方面設計經驗，實現了多GPU加速的模型並行和資料並行版本。

        本文描述多GPU加速深度卷積神經網路訓練系統的模型並行和資料並行實現方法及其效能優化，依託多GPU的強大協同平行計算能力，結合目標Deep CNNs模型在訓練中的並行特點，實現快速高效的深度卷積神經網路訓練。

        1.3. 框架設計目標

        多GPU模型並行+資料並行期望達到下述目標：充分利用Deep CNNs模型的可並行特點，結合SGD（Stochastic Gradient Descent，隨機梯度下降）訓練的資料並行特性，加速模型訓練過程；突破視訊記憶體大小限制，使得訓練超過單GPU視訊記憶體的模型成為可能，並預期通過訓練更復雜的網路來獲得更好的模型效果。

上述目標完成後，系統可以更快地訓練圖1中目標Deep CNNs模型。模型拆分到不同GPU上可減少對單GPU視訊記憶體佔用，適用於訓練更深層次、更多引數的卷積神經網路。

        1.4. 挑戰

        在影象識別應用中，深度卷積神經網路模型的卷積層計算量大，全連線層引數多。因此，如何劃分計算資源，通過模型並行和資料並行兩個資料/計算組織層次上來加速訓練是框架設計首要解決的問題。

影象作為輸入資料，其資料量龐大，且需要預處理過程，因此在Batch訓練時磁碟I/O、資料預處理工作也要消耗一定時間。經典的用計算時間掩蓋I/O時間的方法是引入流水線，因此如何設計一套有效的流水線方法來掩蓋I/O時間和CPU處理時間，以使得整體耗時只取決於實際GPU訓練時間，是一個重要問題。

        模型並行是將一個完整Deep CNNs網路的計算拆分到多個GPU上來執行而採取的並行手段，結合並行資源對模型各並行部分進行合理排程以達到模型並行加速效果是實現模型並行的關鍵步驟。

多GPU系統通過UVA（Unified Virtual Address，統一虛擬地址）技術，允許一顆GPU在kernel計算時訪問其他GPU的裝置記憶體（即視訊記憶體），但由於遠端裝置儲存訪問速度遠遠低於本地儲存訪問速度，實際效能不佳。因此在跨GPU的鄰接層資料訪問時，需要關注如何高效利用裝置間資料拷貝，使所有計算資料本地化。

        2. 系統概述

        如何模型並行？

        模型並行是：適當拆分模型到不同的計算單元上利用任務可並行性達到整個模型在計算過程中並行化效果。

        如圖2所示，揭示了從單GPU訓練到多GPU模型並行訓練的相異之處，主要在於：在使用單GPU訓練的場景下，模型不進行拆分，GPU視訊記憶體上儲存整個模型；模型並行的場景下，將模型拆分到多個GPU上儲存，因此在訓練過程中每個GPU上實際只負責訓練模型的一部分，通過執行引擎的排程在一個WorkerGroup內完成對整個模型的訓練。

圖2從單GPU訓練到多GPU模型並行訓練的概要檢視

        多GPU並行系統從功能上劃分為用於讀取和分發資料的Training Data Dispatcher和用於做模型並行訓練的GPU Worker，如圖3所示。訓練資料從磁碟檔案讀取到CPU主存再拷貝到GPU視訊記憶體，故此設計在各Worker計算每batch資料時，由Training Data Dispatcher從檔案中讀取並分發下一batch資料，以達到用計算時間掩蓋I/O時間的設計目標。

     圖3 2 GPU模型並行系統框架示意

        3. 訓練資料處理的並行加速

        基於mini-batch的訓練，現有技術方案在訓練深度卷積神經網路時，每次從資料檔案中讀入和處理1個batch資料，在GPU計算某一batch時由CPU預讀取和預處理下一batch。

        但是隨著訓練集圖片畫素數增大，讀取和處理時間隨之增加，由於採用多GPU技術加速了單個batch計算時間，資料處理的效能問題隨之而來，需要減少資料處理的用時，以使最終加速效果取決於計算用時。

如圖4所示，總體看來，在深度卷積神經網路訓練過程中始終是在執行一條三階段並行的流水線：計算本次batch資料——處理下次batch資料——讀入再下次batch資料。

                                 圖4資料處理和計算流水線

        4. GPU Worker: 模型並行的承載體

資料並行以劃分Worker Group為基本組織形式，模型並行以在Worker Group內劃分Worker為基本組織形式，並行訓練的排程資源來源於CPU執行緒，計算資源來源於GPU卡。由於GPU卡通常意義上被看成是一種加速卡或協處理器卡，必須在基於CPU的主機上下文中被呼叫來做計算，因此遵循1個CPU執行緒繫結1張GPU卡能夠發揮多GPU共同參與計算時的並行性效能。

        表1 4 GPU模型並行+資料並行CPU執行緒、GPU與Worker Group、Worker繫結關係

        在實際生產環境中，安裝多GPU伺服器的硬體體系結構如圖5所示，示例中揭示了一個8 GPU節點伺服器的硬體配置，每兩個GPU Slot連線在一個GPU專用PCI槽位上再通過PCIe Switch將GPU Slot 0,1,2,3連線在一顆CPU上，GPU Slot 4,5,6,7連線在另一顆CPU上，兩顆CPU通過IOH（Input Output Hub）連線。

                              圖5硬體體系結構

        5. CNNs網路的模型劃分

        5.1. 基本模型劃分方法

        模型並行的來源是Deep CNNs網路只在特定層（如輸入層、全連線層）與其他層有全面的連線，而其他較為獨立的直線連線關係即可作為模型的可並行部分。將模型的可並行部分拆分到多個GPU上，同時利用多個GPU的計算能力各執行子模型的計算，可以大大加快模型的單次前向-後向訓練時間。

圖6模型並行中的模型劃分方案示意

        Deep CNNs網路的層次模型實際上是一張有向無環圖（DAG圖），分配到每個模型並行Worker上的層集合，是有向無環圖的拓撲排序子集，所有子集組成整個網路的1組模型。

        5.2. “十字形”模型劃分方法

        考慮極端情景：需要訓練超大規模Deep CNNs模型，或者使用計算能力相對較強、視訊記憶體較小（一般在1GB~3GB）的桌面級GeForce系列GPU，則利用模型本身的並行性這種基本的模型劃分方法將不再適用。需要將模型再做拆分以保證單個GPU都能儲存下對應的子模型。

如圖7所示，描述了將模型按“十字形”劃分到4 Worker上訓練的情景，不僅拆分了模型的可並行部分，也雖然這樣的劃分在Worker 0和Worker2之間，Worker 1和Worker 3之間達到並行加速效果，卻能使得整個模型得以儲存在4 GPU上。這種模型劃分方法能夠適用於訓練超大規模網路等特殊模型的需求。

                              圖7 “十字形”模型劃分方案示意

        6. CNNs網路的模型並行工作引擎

        每個模型並行Worker上以一個模型並行執行引擎負責排程本Worker上子模型的執行過程。執行引擎控制所有Worker上的子模型完成前向和後向計算，各自對子模型完成引數更新後，到達主執行緒同步點，開始下一mini-batch訓練。

        多GPU模型並行和資料並行的Deep CNNs模型replicas及劃分結構如圖8所示，在使用4 GPU的場景下，劃分了2組Worker Group用於資料並行；每個Worker Group內劃分2個Worker用於模型並行。

                              圖8對ImageNet網路的模型並行和資料並行劃分

        7. 在影象識別上的應用

        7.1. 模型訓練實驗效能

        實驗環境為一臺搭載8核心Intel(R) Xeon(R) CPU E5-2640 v2 @ 2.00GHz的伺服器，記憶體為48GB，伺服器安裝了4塊NVIDIA Tesla K20c GPU，單GPU視訊記憶體大小為4.8GB。

        訓練同樣的Deep CNNs模型，相比於單GPU，使用多GPU結合不同並行模式的加速效果如下表所示：

        表2不同並行配置的加速比

        配置 對單GPU的加速比

        7.2. 模型收斂性

        對於目標Deep CNNs模型，在單GPU訓練時（對照實驗）視訊記憶體佔用量為3.99GB；使用2 GPU模型並行訓練時單個GPU上視訊記憶體佔用量為2.15GB，並且在訓練相同迭代時訓練集、測試集錯誤率效果都與對照實驗完全相同；抽樣比照引數一致性，被抽樣的引數（同對照實驗相比）也都是一樣。

        嘗試更改Deep CNNs模型，訓練一個更大的網路，增加濾波器數目，減小步長，增加中間卷積層feature map數目，訓練時所需視訊記憶體將達到9GB以上，使用單個Tesla K20c GPU（4.8GB視訊記憶體）無法開展訓練實驗；而多GPU模型並行訓練實驗中該模型的錯誤率對比圖1模型降低2%。

        7.3. 效果展示

        圖9為影象標籤識別的示例，通過對兩千多類物體的影象進行訓練，可實現對常見物體的自動識別。

                               圖9應用效果展示

        8. 結論與展望

        本文描述了深度卷積神經網路Deep CNNs的多GPU模型並行和資料並行框架，通過多個Worker Group實現了資料並行，同一Worker Group內多個Worker實現模型並行。框架中實現了三階段並行流水線掩蓋I/O、CPU處理時間；設計並實現了模型並行引擎，提升了模型平行計算執行效率；通過Transfer Layer解決了資料儲存訪問效率問題。此框架顯著提升了深度卷積神經網路訓練速度，解決了當前硬體條件下訓練大模型的難題。

        深度卷積神經網路有著廣泛的應用場景：在影象應用方面，Deep CNNs可應用於相似圖片檢索、圖片的自動標註和人臉識別等。在廣告圖片特徵提取方面，考慮Deep CNNs能夠很好地學習到影象特徵，我們嘗試將其用於廣告點選率預估（Click-Through Rate Prediction, pCTR）模型中。

        參考文獻

        [1] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. (2012) ImageNet Classification with Deep Convolutional Neural Networks. In Advances in Neural Information Processing 25 (NIPS 2012), MIT Press, Cambridge, MA.

        [2] Ossama Abdel-Hamid, Abdel-rahman Mohamed, Hui Jiang, Gerald Penn. (2012) Applying Convolutional Neural Networks Concepts to Hybrid NN-HMM Model for Speech Recognition. ICASSP’12, 2012.

        [3] Jeffrey Dean, Greg S. Corrado, Rajat Monga, et al, and Andrew Y. Ng. (2012) Large Scale Distributed Deep Networks. In Advances in Neural Information Processing 25 (NIPS 2012), MIT Press, Cambridge, MA.

        [4] Omry Yadan, Keith Adams, Yaniv Taigman, Marc’Aurelio Ranzato. (2014) Multi-GPU Training of ConvNets. arXiv: 1312.5853v4 [cs.LG], Feb. 18th, 2014.