1、HanS, Mao H, Dally W J. Deep Compression: Compressing Deep NeuralNetworks with Pruning, Trained

Quantization and Huffman Coding[J].Fiber, 2015, 56(4):3--7.

• 
  
• 主要內容：簡化和壓縮DNN模型，以減少計算量和記憶體的佔用。神經網路剪枝：移除冗餘連線並保證神經網路連線的有效性，從而將密集型神經網路轉化為稀疏型神經網路; 量化訓練：量化權重，並令多個連線共享相同的權重。僅儲存有效權重和索引，且每個引數只需要較少的位來表示; 可變長度編碼：利用有效權重的不均勻分佈，並在沒有訓練準確度損失的情況下使用可變長度編碼表徵權重。
  
• 方法：剪枝：移除神經網路結構的冗餘連線，刪除數值較小權值，稀疏矩陣新增0防止溢位。量化：聚類（劃分權值，浮點型32bit->整型2bit，共享權值）。通過聚類的方式劃分權值，並分類浮點型權值，同一類的權值用同一合適的整型表示，並共享此權值，僅儲存共享權值，索引，CodeBook。編碼：可變長度編碼。
• 創新點：不同於以往直接對深度神經網路進行優化，它針對於已經訓練好的網路進行優化，保證了訓練的準確度。
• 優點：減少了引數與計算量的情況下完全保留了預測準確度;不僅提高了推算速度，同時還降低了執行大型網路所需的計算資源與能源;剪枝和量化可以在不相互影響的情況下壓縮神經網路。深度壓縮令儲存需求變得很小
  （兆位元組空間），所有的權重都可以在晶片上快取而不需要晶片外的DRAM。減輕記憶體和儲存開銷; 提高CPU加速比; 減少CPU能耗。
• 缺點：優化後的神經網路權重還是浮點數。
• Note ：初始值選取：線性初始化有助於保留較大權值，往往較大權值更重要。

2、ZhouA, Yao A, Guo Y, et al. Incremental Network Quantization: TowardsLossless CNNs with Low-

PrecisionWeights[J]. 2017.

• 主要內容：提出了漸進式神經網路量化的思想，引入了三種操作：
  引數分組，量化，重訓練。給定任意結構預先訓練的全精度（32位浮點）CNN模型，能將其轉換成無損的低位元二進位制模型。例如，將所有32位浮點權重轉換為2或0的冪，而不會損失模型精度。
• 創新點：網路生成由三個相互依賴的操作組成（權值分割，分組量化和再訓練）。將這個全精度浮點網路模型中的每一層引數分為不相交且互補的兩組，第一組中的引數直接被量化固定，另一組引數通過重訓練來補償量化給模型造成的精度損失。三個操作不斷迭代訓練網路，直到模型全部量化為止。同時分組方法為閥值比較，絕對值較大（更重要）的權值去做量化，較小的權值做重訓練。
• 優點：不同於韓鬆提出的DNN壓縮之後權值仍是浮點型，INQ得到的是二進位制化的引數，可以用簡單的二進制移位運算代替原來的浮點數乘法運算，簡化硬體計算。
• 缺點：…
• 
  

2、Rastegari M, Ordonez V, Redmon J, et al. XNOR-Net: ImageNet Classification Using Binary Convolutional Neural 

Networks[C]// European Conference on Computer Vision. Springer, Cham, 2016:525-542.

• 主要內容：介紹了兩種二值化網路：Binary-Weight-Networks和XNOR-Networks。其中，Binary-Weight-Networks所有權重值都用二值近似，僅通過加法和減法來估計卷積運算（不需要乘法）；XNOR-Networks，一種具有二值化權重和二值化輸入的深層神經網路模型。權重，卷積層和完全連線層的輸入都用二值化近似，可通過XNOR和位計數操作估計卷積。

• 創新點：通過二值化權重，來實現簡單，高效，準確的CNN近似。其二值化方法旨在使用二值操作找到卷積的最佳近似。

• 優點：Binary-Weight-Networks通過對權重W做二值化操作，達到減少模型儲存空間的目的，準確率接近全精度卷積神經網路；XNOR-Networks通過同時對權重W和輸入I做二值化操作，達到既減少模型儲存空間，又加速模型的目的。

• 缺點：XNOR-Networks的準確率影響也比較明顯。
• 參考部落格：https://blog.csdn.net/u014380165/article/details/77731595