一：目的

利用上篇文章編譯好的python介面，採用FCN（Caffe版本）進行影象分割；

二：影象語義分割

1. 環境準備

(1) Caffe-Windows的python介面編譯，可參見上篇博文。

(2) 下載FCN原始碼。作者在github上開源了程式碼，直接下載即可。下載完成後，將其解壓進caffe-windows目錄下，如下圖所示（在這裡我將其重名為了fcn-master）。

（3）下載預訓練權重。進入caffe-windows\fcn-master\voc-fcn8s目錄，開啟caffemodel-url檔案，下載其中所對應的fcn8s-heavy-pascal.caffemodel，並將其放在caffe-windows\fcn-master\voc-fcn8s目錄下。同理分別在caffe-windows\fcn-master\voc-fcn16s和caffe-windows\fcn-master\voc-fcn32s目錄下下載對應的caffemodel。

2. voc-fcn8s測試

(1) 拷貝caffe-windows\fcn-master\infer.py進caffe-windows\fcn-master\voc-fcn8s資料夾，並重命名為infer_fcn8s.py

(2) 修改infer_fcn8s.py為如下

import numpy as np
from PIL import Image
import matplotlib.pyplot as plt

import caffe

# load image, switch to BGR, subtract mean, and make dims C x H x W for Caffe
im = Image.open('data/tabby_cat.png')
in_ = np.array(im, dtype=np.float32)
in_ = in_[:,:,::-1]
in_ -= np.array((104.00698793,116.66876762,122.67891434))
in_ = in_.transpose((2,0,1))

# load net
net = caffe.Net('deploy.prototxt', 'fcn8s-heavy-pascal.caffemodel', caffe.TEST)
# shape for input (data blob is N x C x H x W), set data
net.blobs['data'].reshape(1, *in_.shape)
net.blobs['data'].data[...] = in_
# run net and take argmax for prediction
net.forward()
out = net.blobs['score'].data[0].argmax(axis=0)

plt.imshow(out,cmap='gray');
plt.axis('off')
plt.savefig('data/tabby_cat_result.png')
#plt.show()
 

其中，主要修改了im路徑（測試影象路徑），net（包括deploy.prototxt和caffemodel）和plt.savefig(結果影象儲存路徑)

在這裡，測試影象用的是tabby_cat，如下所示

在命令列視窗中cd進caffe-windows\fcn-master\voc-fcn8s目錄，並輸入python1 infer_fcn8s.py(關於python介面編譯可以參見上一篇博文)，執行結束後，會在caffe-windows\fcn-master\voc-fcn8s\data目錄下生成分割後的影象，如下圖所示

3. voc-fcn16s和voc-fcn32s測試

這兩部分的測試與voc-fcn8s基本相同，唯一的區別是在caffe-windows\fcn-master\voc-fcn16s和caffe-windows\fcn-master\voc-fcn32s資料夾下，並沒有deploy.prototxt檔案，我們可以通過改寫train.prototxt檔案的方式得到deploy.prototxt。

在改寫train.prototxt得到train.prototxt的過程中，需要修改的地方有以下三個

(1) 修改輸入層

(2) 去掉dropout層

(3)去掉最後一層

如果覺得麻煩，可以下載我生成好的deploy.prototxt檔案，連結：https://pan.baidu.com/s/1bpVvSF9 密碼：kb9y

測試完成後，按照上述步驟執行，即可得到分割後的影象。

4. 對比

(1)voc-fcn32s結果

(2)voc-fcn16s結果

(3) voc-fcn8s結果

可以看出來，上取樣方式的不同，對結果造成的影響還是挺明顯的！

finished! enjoy!

參考：