Google：資料並行對神經網路訓練用時的影響
來源： 3600.pdf" target="_blank" rel="nofollow,noindex"> https:// arxiv.org/pdf/1811.0360 0.pdf
編譯：Bot
編者按：談到加速模型訓練，平行計算現在已經成為一個人人可以信手拈來的術語和技巧——通過把單執行緒轉為多執行緒同時進行，我們可以把訓練用時從一禮拜縮短到幾天甚至幾小時。但無論你有沒有嘗試過並行訓練，你是否思考過這樣一些問題：模型訓練是否存在一個閾值，當batch size變化到一定程度後，訓練所用的步數將不再減少；對於不同模型，這個閾值是否存在巨大差異……
摘要
近年來，硬體的不斷髮展使資料平行計算成為現實，併為加速神經網路訓練提供瞭解決方案。為了開發下一代加速器，最簡單的方法是增加標準minibatch神經網路訓練演算法中的batch size。在這篇論文中，我們的目標是通過實驗表徵增加batch size對訓練時間的影響，其中衡量訓練時間的是到達目標樣本外錯誤時模型所需的訓練步驟數。
當batch size增加到一定程度後，模型訓練步數不再發生變化。考慮到batch size和訓練步驟之間的確切關係對從業者、研究人員和硬體設計師來說都至關重要，我們還研究了不同訓練演算法、模型和資料記下這種關係的具體變化，並發現了它們之間的巨大差異。在論文最後，我們調整了以往文獻中關於batch size是否會影響模型效能的說法，並探討了論文結果對更快、更好訓練神經網路的意義。
研究結果
通過全面定性定量的實驗，我們最終得出了以下結論：
1. 實驗表明，在測試用的六個不同的神經網路、三種訓練演算法和七個資料集下，batch size和訓練步驟之間關係都具有相同的特徵形式。
具體來說，就是對於每個workload（模型、訓練演算法和資料集），如果我們在剛開始的時候增加batch size，模型所需的訓練步驟數確實會按比例逐漸減少，但越到後期，步驟數的減少量就越低，直到最後不再發生變化。與之前那些對元引數做出強有力假設的工作不同，我們的實驗嚴格對照了不同網路、不同演算法和不同資料集的變化，這個結論更具普遍性。
2. 我們也發現，最大有用batch size在不同workload上都有差異，而且取決於模型、訓練演算法和資料集的屬性。
- 相比一般SGD，具有動量的SGD（以及Nesterov動量）的最大有用batch size更大，這意味著未來大家可以研究不同演算法和batch size縮放屬性之間的關係。
- 有些模型的最大有用batch size很大，有些則很小，而且它們的這種關係並不像以前論文中介紹的那麼簡單（比如更寬的模型並不總能更好地擴充套件到更大的batch size）。
- 相比神經網路和演算法，資料集對最大有用batch size的影響較小，但它的影響方式有些複雜。
3. 我們還發現，訓練元引數的最佳值並不總是遵循和batch size的任何簡單數學關係。比如近期有一種比較流行的學習率設定方法是直接線性縮放batch size，但我們發現這種方法並不適用於所有問題，也不適用於所有batch size。
4. 最後，通過回顧先前工作中使用的實驗方案細節，我們沒有找到任何關於增加batch size必然會降低模型效能的證據，但當batch size過大時，額外的正則化確實會變得至關重要。
實驗
下表是實驗採用的資料集，size一欄指的是訓練集中的樣本數，訓練資料分為影象和文字兩類。
下表是實驗用的模型，它們都是從業者會在各類任務中使用的主流模型。表中也展示了我們用於每個模型和資料集的學習率。學習率的作用是加速神經網路訓練，但找到最佳學習率本身是一個優化問題。
下圖展示了不同workload下batch size和訓練步驟之間關係變化。可以發現，雖然使用的神經網路、演算法和資料集不同，但這九幅圖都表現出了同樣的特徵，就是在初始階段，隨著batch size逐漸增加，訓練步驟數會有一段線性遞減的區間，緊接著是一個收益遞減的區域。最後，當batch size突破最大有用batch size閾值後，訓練步數不再明顯下降，即便增加並行執行緒也不行。
下圖不同模型下batch size和訓練步驟之間關係變化。其中a、b、c三個模型的最大有用batch size比其他模型大得多，d和f表明改變神經網路的深度和寬度可以影響模型利用較大batch size的能力，但這種做法只適用於同模型對比，不能推廣到不同模型架構的對比中。
在上圖的實驗中，MNIST模型用的都是常規的mini-batch SGD，而其他模型則用了Nesterov momentum。經過比較，我們發現Nesterov在處理較大batch size上比mini-batch SGD更好一些，所以這些模型的最大可用batch size也更大。
下圖顯示了不同資料集對batch size和訓練步驟之間關係的影響。如圖所示，雖然不大，但影響確實是客觀存在的，而且非常複雜。比如對於MNIST，子集大小對最大有用batch size的影響幾乎為0；但對於ImageNet，子集小一點似乎訓練起來更快。
小結
這裡我們只呈現了部分實驗圖表，感興趣的讀者可以閱讀原文進行更深入的研究。總而言之，這篇論文帶給我們的啟示是，儘管增加batch size在短期來看是加速神經網路訓練最便捷的方法，但如果我們盲目操作，即便擁有最先進的硬體條件，它在到達閾值後也不會為我們帶來額外收益。
當然，這些實驗資料也我們發掘了不少優化演算法，它們可能能夠在許多模型和資料集中始終如一地加速模型訓練。