深度學習神經網路量化
阿新 • • 發佈：2019-01-04
主要問題
DNN（Deep Neural Networks）的冗餘性決定了引數個數不會對網路的精度造成影響。此外，SGD（Stochastic Gradient Descent）所需要的精度僅為6~8bit，因此合理的量化網路也可保證精度的情況下減小模型的儲存體積
影響
DNN壓縮看參考Stanford大學Han Song博士的幾篇論文，如下：
Learning both Weights and Connections for Efficient Neural Networks
Regularizing Deep Neural Networks with Dense-Sparse-Dense Training
Compressing Deep Neural Networks with Pruning , Trained Quantization and Huffman Coding
演算法的主要實現思路是發現對網路貢獻較小的引數並精簡，然後重新訓練精簡後的稀疏網路以達到減少非0網路引數的個數並保留或提高網路精度的目的，此類方法屬於改變網路密度類方法。
圖1 Deep Compression的深度神經網路剪枝，量化和編碼的示意框圖。
量化技術
深度神經網路的量化技術主要可以分為兩類：完整訓練後量化和訓練時量化。與改變密度類方法不同，量化類的方法屬於改變網路多樣性的方法，容易造成精度損失。
完整訓練神經網路後，再執行量化類技術主要針對已完整訓練的網路
https://www.zhihu.com/question/40503595