背景

• Neural Network模型一般都會佔用很大的磁碟空間，比如AlexNet的模型檔案就超過了200 MB.模型包含了數百萬的引數，絕大部分的空間都用來儲存這些模型的引數了。這些引數是浮點數型別的，普通的壓縮演算法很難壓縮它們的空間。
• 一般模型的內部的計算都採用了浮點數計算，浮點數的計算會消耗比較大的計算資源（空間和cpu/gpu時間）,如果在不影響模型準確率的情況下，模型內部可以採用其他簡單數值型別進行計算的話，計算速度會提高很多，消耗的計算資源會大大減小，尤其是對於移動裝置來說，這點尤其重要。

由此引入量化技術。

Quantize

Mathematics, Physics. to
 
 restrict (a variable quantity) to 
discrete values rather than to a continuous set of values.

對於模型檔案的量化壓縮，過程比較簡單。我們發現模型屬於同一層的引數值會分佈在一個較小的區間內，比如-3， 5之間，我們可以記下這個最小值和最大值，在採用8位數量化（可以有其他選擇）的情況下，可以把同一層的所有引數都線性對映（也可以採用非線性對映進一步壓縮空間）到區間[-3, 5]之間的255個8位整數中的最接近的一個數，例如如下對映：

float  | Quantized 
-------+----------
 

 -3.0  | 0     
 5.0   | 255   
 0.92  | 125    

這樣模型檔案的大小就基本壓縮到了原來的25%，而且在載入的時候可以恢復到原來的數值，當然恢復的數值跟壓縮之前會有差異，但事實證明，模型對這種壓縮照成的噪音表現的很健壯。

滿足第一個需求就這麼簡單，模型不需要改變，需要改變的是模型的儲存和載入部分；但是要解決第二個問題就不這麼簡單了，事實證明，模型內部的計算如果都採用8位整形數來計算的話，模型的表現會相差很大，原因是模型的訓練過程中，需要計算梯度，然後運用一定的學習演算法，不斷的更新引數，每次的更新量可能是很小的。所以模型的訓練過程需要高精度的浮點型數值的。那麼模型的預測過程是否可以使用整形數值代替呢？事實證明是可行的。

TensorFlow中模型的量化過程是這樣實現的：

• 將模型中實現了對應的量化操作的操作符替換成量化操作符，例如圖1是原始的計算圖，圖2是量化後的計算圖。

• 優化量化處理後的計算圖，去掉冗餘操作，如下圖3

實踐

以inception模型為例，可以通過下列命令操作量化模型：

$ curl http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz -o /tmp/inceptionv3.tgz
$ tar xzf /tmp/inceptionv3.tgz -C /tmp/
$ bazel build tensorflow/contrib/quantization/tools:quantize_graph
$ bazel-bin/tensorflow/contrib/quantization/tools/quantize_graph \
--input=/tmp/classify_image_graph_def.pb \
--output_node_names="softmax" --output=/tmp/quantized_graph.pb \
--mode=eightbit