• txt檔案：檔案中有資料集的名字列表的txt檔案,此處不同於原始碼，在pascal-context資料集上自己製作，訓練測試集列表

• 網路結構prototxt檔案: train.prototxt和solver.prototxt，分別在：DeepLabv2_VGG16 和 DeepLabv2_ResNet101
  

• 官網指令碼檔案: 三個sh檔案，建議使用指令碼檔案，初看雖不懂，但是比python版本的執行簡單很多

**注：本部落格只涉及指令碼版本的訓練，pascal-context的list檔案要自己根據資料集製作，或者使用此部落格的list

準備工作

1.必要工具

下載安裝matio,

2.資料集準備

本部落格採用的資料集為nyu v2，由其RGB影象及label組成，並沒有使用深度影象，資料大致為下圖：

原始資料集為voc2010,label即為上圖中所說的the annotations for training/validation set為ma，需要把mat檔案轉為png檔案

資料下載

# original PASCAL VOC 2010
cd ~/DL_dataset       #save datasets 為$DATASETS
wget http://horatio.cs.nyu.edu/mit/silberman/nyu_depth_v2/nyu_depth_v2_labeled.mat
 
 #2.8 GB

資料轉換
注：相關python指令碼檔案由以下模型訓練第一步的github下載得到

修改其中的資料路徑為你的trainval所在路徑，並在此路徑下建立labels檔案

cp ~/deeplab_v2/nyu/mat_image.py ~/DL_dataset/nyu
cp ~/deeplab_v2/nyu/mat_label.py ~/DL_dataset/nyu
cd ~/DL_dataset/nyu


python mat_image.py 
python mat_label.py

此時nyu資料資料夾產生兩個資料夾，分別存放RGB影象和標籤圖片

RGB三通道nyu影象

一通道nyu的標籤影象

1.從github克隆train deeplab_v2資料夾

此github已經將資料夾結構建好，已儲存有原始碼的prototxt檔案，指令碼sh檔案，並已經自己製作好對應的資料集txt檔案，放置到對應資料夾下。由於官方model檔案大，不宜放GitHub，將在第3步下載。

cd ~
git clone [email protected].com:xmojiao/deeplab_v2.git

2.將原始碼下載到此資料夾下，並編譯安裝deeplab caffe

cd deeplab_v2
git clone https://bitbucket.org/aquariusjay/deeplab-public-ver2.git
cd deeplab-public-ver2
make all
make pycaffe
make test # NOT mandatory
make runtest # NOT mandatory

3.將官方預訓練的model放置到pascal-context的model/deeplab_largeFOV

官方的初始化model為在image net上學習過的結果，train_iter_20000.caffemodel為在voc2012上訓練過的結果。此處我們可以使用init.caffemodel，train_iter_20000.caffemodel要自己生成
此處以VGG16訓練為例，model下載地址
也可在命令列下載並移動到相應資料夾，如下：

wget http://liangchiehchen.com/projects/released/deeplab_aspp_vgg16/prototxt_and_model.zip
unzip prototxt_and_model.zip
mv *caffemodel ~/deeplab_v2/nyu/model/deeplab_largeFOV
rm *prototxt

4.deeplab2的script指令碼檔案run_pascal.sh 解析

目前我們已經準備好資料集和資料txt檔案，引數檔案model，網路結構檔案prototxt,和三個sh指令碼檔案，接下來只需要修改run_pascal.sh檔案，deeplabv2就可以run起來了。
注：與從頭開始訓練deeplab v2系列之三【pascal context資料集】一樣，修改了21類的label的類別數為459類

## MODIFY PATH for YOUR SETTING
ROOT_DIR=/home/guo/DL_dataset

CAFFE_DIR=../deeplab-public-ver2 #所下載編譯的deeplab原始碼目錄
CAFFE_BIN=${CAFFE_DIR}/.build_release/tools/caffe.bin
EXP=.

if [ "${EXP}" = "." ]; then

    NUM_LABELS=459 #**本指令碼檔案與voc2012的最大區別之處，修改類別21為459類**
    DATA_ROOT=${ROOT_DIR}/nyu   
else
    NUM_LABELS=0
    echo "Wrong exp name"
fi

 which model to train
########### voc12 ################
NET_ID=deeplab_largeFOV ##此處原檔名有問題應該改為deeplab_largeFOV



## Variables used for weakly or semi-supervisedly training
#TRAIN_SET_SUFFIX=
TRAIN_SET_SUFFIX=_aug  #此處為選擇train_aug.txt資料集


#TRAIN_SET_STRONG=train
#TRAIN_SET_STRONG=train200
#TRAIN_SET_STRONG=train500
#TRAIN_SET_STRONG=train1000
#TRAIN_SET_STRONG=train750

#TRAIN_SET_WEAK_LEN=5000

DEV_ID=0

#####

## Create dirs

CONFIG_DIR=${EXP}/config/${NET_ID} #此處目錄為/nyu/config/deeplab_largeFOV
MODEL_DIR=${EXP}/model/${NET_ID}
mkdir -p ${MODEL_DIR}
LOG_DIR=${EXP}/log/${NET_ID}
mkdir -p ${LOG_DIR}
export GLOG_log_dir=${LOG_DIR}

## Run

RUN_TRAIN=1 #為1說明執行train
RUN_TEST=0 #為1說明執行test
RUN_TRAIN2=0
RUN_TEST2=0

## Training #1 (on train_aug)

if [ ${RUN_TRAIN} -eq 1 ]; then  #r如果RUN_TRAIN為1
    #
    LIST_DIR=${EXP}/list
    TRAIN_SET=train${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then #如果TRAIN_SET_WEAK_LEN長度為零則為真
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
                TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
                comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP}/model/${NET_ID}/init.caffemodel #下載的vgg16或者ResNet101中的 model
    #
    echo Training net ${EXP}/${NET_ID}
    for pname in train solver; do
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done  #此部分執行時如以下命令
        CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver_${TRAIN_SET}.prototxt \
         --gpu=${DEV_ID}"
        if [ -f ${MODEL} ]; then
                CMD="${CMD} --weights=${MODEL}"
        fi
        echo Running ${CMD} && ${CMD}
fi
#train部分執行時，即以下執行命令 ../deeplab-public-ver2/.build_release/tools/caffe.bin train --solver=./config/deeplab_largeFOV/solver_train_aug.prototxt --gpu=0 --weights=./model/deeplab_largeFOV/init.caffemodel
#上述命令中，solver_train_aug.prototxt由solve.prototxt檔案複製而來，init.caffemodel為原始下載了的VGG16的model

## Test #1 specification (on val or test)

if [ ${RUN_TEST} -eq 1 ]; then
    #
    for TEST_SET in val; do
                TEST_ITER=`cat ${EXP}/list/${TEST_SET}.txt | wc -l` #此處計算val.txt檔案中測試圖片個數，共1449個
                MODEL=${EXP}/model/${NET_ID}/test.caffemodel
                if [ ! -f ${MODEL} ]; then
                        MODEL=`ls -t ${EXP}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
                fi
                #
                echo Testing net ${EXP}/${NET_ID}
                FEATURE_DIR=${EXP}/features/${NET_ID}
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
        mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc9
                mkdir -p ${FEATURE_DIR}/${TEST_SET}/seg_score
                sed "$(eval echo $(cat sub.sed))" \
                        ${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
                CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
                echo Running ${CMD} && ${CMD}
    done
fi
#test部分執行時，即以下執行命令../deeplab-public-ver2/.build_release/tools/caffe.bin test --model=./config/deeplab_largeFOV/test_val.prototxt --weights=./model/deeplab_largeFOV/train_iter_20000.caffemodel --gpu=0 --iterations=154
#上述命令中，test_val.prototxt由test.prototxt檔案複製而來，train_iter_20000.caffemode由第一部分train得到的model

5.deeplab跑起來

同前兩篇部落格一樣，此處我將train和test分開操作，即是修改run_pascal.sh指令碼中的如下程式碼：

• RUN_TRAIN=1 時

cd ~/deeplab_v2/nyu
sh run_pascal.sh 2>&1|tee train.log

2>&1|tee train.log
指令的作用為在命令列展示log的同時，儲存log到當前目錄的train.log資料夾。前工作做的順利的話，你就能看到如下結果。

• RUN_TEST=1

目前沒發現作者有寫單張圖片測試的程式碼，但是當我們跑此部分run_test時，會得到png格式的測試結果

跑出測試結果

sh run_pascal.sh 2>&1|tee train.log

6.將test的結果mat檔案轉換為png檔案

同voc2012的測試結果一樣，test結束，你會在~/deeplab_v2/nyu/features/deeplab_largeFOV/val/fc8目錄下跑出mat格式的結果。

mat轉png圖片
-修改creat_labels.py中檔案目錄

cd ~/deeplab_v2/nyu/
vim create_labels_249.py

-在此目錄執行creat_labels_249.py

同pascal-context資料集影象採用全分割的方式一樣，本次訓練的資料集有459個類別，原來的21種顏色無法充分表達，但考慮到顏色類別有限，所以博主採用249種顏色來表達459種類物體。

python create_labels_249.py

pascal-context得到的結果如下