最近在中低端嵌入式裝置上進行人臉識別移植，雖然針對模型引數儘量壓縮，但模型依然有6M左右，在低端嵌入式裝置上載入速度和執行速度都讓人淚流滿面。查閱資料後，目前針對嵌入式裝置可通過float32轉int8進行模型壓縮和速度提升，所以本人也進行了實驗，並將實驗過程進行記錄，分享給大家。
準備材料：
（1）測試網路的prototxt檔案
（2）訓練生成的caffemodel檔案
（3）驗證集影象檔案
（4）git clone https://github.com/lyk125/caffe-int8-convert-tools.git
（5）caffe深度學習框架
以上都準備妥當了，那麼就可以進行模型的轉換了。

1. 針對輸入為三通道模型
   若模型輸入為三通道影象直接根據官方教程直接轉換即可。

$ python caffe-int8-convert-tool.py --help
usage: caffe-int8-convert-tool.py [-h] [--proto PROTO] [--model MODEL]
                                  [--mean MEAN MEAN MEAN] [--norm NORM]
                                  [--images IMAGES] [--output OUTPUT]
                                  [
 
--gpu GPU]

find the pretrained caffe models int8 quantize scale value

optional arguments:
  -h, --help            show this help message and exit
  --proto PROTO         path to deploy prototxt.
  --model MODEL         path to pretrained weights
  --mean MEAN           value of mean
  --norm NORM           value of normalize
  -
 
-images IMAGES       path to calibration images
  --output OUTPUT       path to output calibration table file
  --gpu GPU             use gpu to forward
  
$ python caffe-int8-convert-tool.py --proto=squeezenet_v1.1.prototxt --model=squeezenet.caffemodel --mean 104 117 123 --images=ILSVRC2012_1k --output=squeezenet_v1.1.table --gpu=1

2. 針對輸入為灰度影象模型
   若模型輸入為灰度圖將需要修改caffe-int8-convert-tool.py檔案，共有兩處修改：
   （1）由於灰度圖是沒有均值的 所以如果不加任何修改，會報Mean channels incompatible with input.所以做一下修改，遮蔽均值處理。

def network_prepare(net, mean, norm):
    """
    instance the prepare process param of caffe network inference 
    Args:
        net: the instance of Caffe inference
        mean: the value of mean 
        norm: the value of normalize 
    Returns:
        none
    """
    print("Network initial")

    #img_mean = np.array(mean)
    
    # initial transformer
    transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
    # convert shape from RBG to BGR 
    #transformer.set_transpose('data', (2,0,1))
    # load meanfile
    #transformer.set_mean('data', img_mean)
    # resize image data from [0,1] to [0,255]
    transformer.set_raw_scale('data', 255)   
    # convert RGB -> BGR
    #transformer.set_channel_swap('data', (2,1,0))   
    # normalize
    transformer.set_input_scale('data', norm)

    return transformer 

（2）將需要載入影象進行灰度化處理或者resize操作，以與網路模型相對應。

def net_forward(net, image_path, transformer):
    """
    network inference and statistics the cost time
    Args:
        net: the instance of Caffe inference
        image_path: a image need to be inference
        transformer:
    Returns:
        none
    """ 
    # load image
    image = caffe.io.load_image(image_path)
    # transformer.preprocess the image
    # -------add code int here to gray or resize------
    img_gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
    #-------------------------------------------------
    net.blobs['data'].data[...] = transformer.preprocess('data',img_gray)
    # net forward
    start = time.clock()
    output = net.forward()
    end = time.clock()
    print("%s forward time : %.3f s" % (image_path, end - start))

繼續執行程式碼，即可執行輸入為灰度圖的模型。

python caffe-int8-convert-tool.py --proto=squeezenet_v1.1.prototxt --model=squeezenet.caffemodel --mean 104 117 123 --images=ILSVRC2012_1k --output=squeezenet_v1.1.table --gpu=1

跑完之後就可獲得.table檔案。

最後，通過執行

./caffe2ncnn xx.prototxt xx.caffemodel yy.param yy.bin 256 xx.table

即可獲得壓縮之後的模型。本人壓縮後模型大小為1.6M。