Deeplab_v2+VOC資料集

阿新 • • 發佈：2018-12-13

概述

Deeplab系列，是影象語意分割的經典之作，用深度學習的方法實現影象分割，繞不過系統學習Deeplab系列，而學習的最快途徑就是先把demo跑起來，之後再去細讀文獻和程式碼。
本部落格主要是基於v2版本的deeplab,使用VGG16模型，在VOC2012資料集上進行測試！
參考了很多部落格的精華，但是有些部落格記錄的不是很全，核心資料就是參看官網：deeplab_v2

我把我的踩坑過程記錄如下，讓自己再熟悉一遍。記錄按照demo執行順序進行：

收集處理資料：

文章中的資料集由兩部分組成，已經有人寫好指令碼，可以直接從網上拉下來，這樣就不去網頁上自己手動搜尋了。
下載指令碼如下：

# 這裡建議自己建立一個data資料夾，存放相關資料

# augmented PASCAL VOC     #增強資料集
mkdir -p ~/DL_dataset
cd ~/DL_dataset                      #save datasets 為$DATASETS
wget http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/semantic_contours/benchmark.tgz # 1.3 GB
tar -zxvf benchmark.tgz
mv benchmark_RELEASE VOC_aug

# original PASCAL VOC 2012   #原始資料集
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar # 2 GB
tar -xvf VOCtrainval_11-May-2012.tar
mv VOCdevkit/VOC2012 VOC2012_orig && rm -r VOCdevkit

資料轉換：

因為pascal voc2012增強資料集的label是mat格式的檔案，所以我們需要把mat格式的label轉為png格式的圖片，指令碼如下：

cd ./DL_dataset/VOC_aug/dataset
if [ ! -d cls_png  ];
then
    mkdir cls_png
else
    echo dir exist
fi
cd ../../../
python3 ./mat2png.py ./DL_dataset/VOC_aug/dataset/cls ./DL_dataset/VOC_aug/dataset/cls_png

pascal voc2012原始資料集的label為三通道RGB影象，但是caffe最後一層softmax loss 層只能識別一通道的label,所以此處我們需要對原始資料集的label進行降維，指令碼如下：

cd ./DL_dataset/VOC2012_orig

if [ ! -d SegmentationClass_1D  ];
then
    mkdir SegmentationClass_1D
else
    echo dir exist
fi

cd ../../
python3 convert_labels.py ./DL_dataset/VOC2012_orig/SegmentationClass/ ./DL_dataset/VOC2012_orig/ImageSets/Segmentation/trainval.txt ./DL_dataset/VOC2012_orig/SegmentationClass_1D/

為了方便直接使用圖片，我們將圖片兩個圖片源合併，且將資料夾改成train.txt裡要求的形式：
在這裡插入圖片描述
指令碼如下：

cp ./DL_dataset/VOC2012_orig/SegmentationClass_1D/* ./DL_dataset/VOC_aug/dataset/cls_png
cp ./DL_dataset/VOC2012_orig/JPEGImages/* ./DL_dataset/VOC_aug/dataset/img/

echo "複製完畢"

cd ./DL_dataset/VOC_aug/dataset
mv ./img ./JPEGImages
mv ./cls_png ./SegmentationClassAug

echo "資料夾改名"
echo "檢視JPEGImages檔案數量："
cd ./JPEGImages
ls -l | grep "^-" | wc -l

echo "檢視SegmentationClassAug檔案數量：："
cd ../SegmentationClassAug
ls -l | grep "^-" | wc -l

到此處，在 /DL_dataset/VOC_aug/dataset資料夾中

images資料集的檔名為：JPEGImages ,jpg圖片數由5073變為17125
labels資料集檔名為：cls_png ，png圖片數由11355變為12031
資料收集工作也到此結束。

資料收集完之後第二步，就是建立一些資料夾，開始一些配置工作，之後就可以把資料扔進caffe裡訓練了。

配置環境

參看官方文件：
在這裡插入圖片描述
1、用來執行caffe的指令碼和資料list都可以直接下載
2、難點是安裝matio

安裝matio:
第一步下載：
官網連結
在這裡插入圖片描述
下載下來發現是7z壓縮包
第二步解壓：

sudo apt-get install p7zip    
7z x matio-1.5.12.7z -r -o/home/xx   //解壓到目標資料夾，若遇到需要下載完整7z提示，按提示下載即可。
sudo apt-get install p7zip-full

第三步安裝：

cd matio-1.5.12
./configure   //如果這一句不能用的話用 bash configure  代替
make
make check
make install

會出現很多類似錯誤：

*xxxx/Depends/matio-1.5.12/src’ //報錯檔案目錄 /bin/sh …/libtool --tag=CC --mode=compile mipsel-linux-gcc -DHAVE_CONFIG_H -I. -I… -I…/include -I…/include -O20 -Wall -ffast-math -fsigned-char -g -O2 -MT framing.lo -MD -MP -MF .deps/framing.Tpo -c -o framing.lo framing.c
…/libtool: 1564: …/libtool: preserve_args+= --tag CC: not found
…/libtool: 1: eval: base_compile+= mipsel-linux-gcc: not found
…/libtool: 1: eval: base_compile+= -DHAVE_CONFIG_H: not found

找到src檔案裡的makefile檔案，定位到SHELL變數定義處的/bin/sh，改為/bin/bash後重新編譯
這樣的資料夾有很多：類似在"src", “tools” , “test” 等資料夾處均遇到上面錯誤，修改對應的Makefile檔案即可。
接下來就是配置環境，建立資料夾，及編譯caffe了。
參考官網：
在這裡插入圖片描述
第一步：建立資料夾、拉取deep_lab原始碼，一個指令碼搞定：

#!/bin/bash

mkdir deep_lab
cd deep_lab
git clone https://bitbucket.org/aquariusjay/deeplab-public-ver2.git

echo "原始碼拉取成功"
cd ..
mkdir -p ./deep_lab/exper/voc12/config/deeplab_largeFOV
mkdir -p ./deep_lab/exper/voc12/features/labels
mkdir -p ./deep_lab/exper/voc12/features2/labels
mkdir -p ./deep_lab/exper/voc12/list
mkdir -p ./deep_lab/exper/voc12/model/deeplab_largeFOV
mkdir -p ./deep_lab/exper/voc12/log
mkdir -p ./deep_lab/exper/voc12/res

echo "建立資料夾成功，用來存放txt,log,model等內容"

第二步：拉取配置檔案prototxt和訓練模型分別放進各自資料夾，指令碼如下：

#!/bin/bash
echo "正在下載..."
wget http://liangchiehchen.com/projects/released/deeplab_aspp_vgg16/prototxt_and_model.zip
unzip prototxt_and_model.zip
echo "解壓完畢"

mv *.prototxt ./deep_lab/exper/voc12/config/deeplab_largeFOV
mv *caffemodel ./deep_lab/exper/voc12/model/deeplab_largeFOV

rm -rf *.prototxt
rm -rf *caffemodel

echo "完成"

第三步：編譯caffe
和BVLC版本一樣，對DeepLab的caffe進行編譯，我喜歡用cmake
在使用cmake之前，先檢查Cmakelist的配置，我需要選擇python3編譯

#!/bin/bash
cd ./deep_lab/deeplab_public_ver2
mkdir build
cd build
cmake ..
make -j8
make pycafef
make test

echo "完成"

這樣編譯會出不少問題，主要參考編譯錯誤總結都能順利解決。
比如：

1、./include/caffe/common.cuh(9): error: function “atomicAdd(double *, double)” has already been defined

原因是CUDA 8.0 提供了對atomicAdd函式的定義，但atomicAdd在之前的CUDA toolkit中並未出現，因此一些程式自定義了atomicAdd函式。
解決方法：開啟./include/caffe/common.cuh檔案，在atomicAdd前新增巨集判斷即可。
如下：

#if !defined(__CUDA_ARCH__) || __CUDA_ARCH__ >= 600 
#else
   static __inline__ __device__ double atomicAdd(double* address, double val) 
   { 
      ...
   } 
#endif

2、cuDNN v5環境會出現類似下面的介面錯誤：

./include/caffe/util/cudnn.hpp: In function ‘void caffe::cudnn::createPoolingDesc(cudnnPoolingStruct**, caffe::PoolingParameter_PoolMethod, cudnnPoolingMode_t*, int, int, int, int, int, int)’:
./include/caffe/util/cudnn.hpp:127:41: error: too few arguments to function ‘cudnnStatus_t cudnnSetPooling2dDescriptor(cudnnPoolingDescriptor_t, cudnnPoolingMode_t, cudnnNanPropagation_t, int, int, int, int, int, int)’
         pad_h, pad_w, stride_h, stride_w));

這是由於所使用的cuDNN版本不一致的導致的，作者配置環境是cuDNN 4.0，但是5.0版本後的cuDNN介面有所變化。

解決方法：將以下幾個檔案用最新BVLC版本的caffe對應檔案替換並重新編譯

./include/caffe/util/cudnn.hpp
./include/caffe/layers/cudnn_conv_layer.hpp
./include/caffe/layers/cudnn_relu_layer.hpp
./include/caffe/layers/cudnn_sigmoid_layer.hpp
./include/caffe/layers/cudnn_tanh_layer.hpp

./src/caffe/layers/cudnn_conv_layer.cpp
./src/caffe/layers/cudnn_conv_layer.cu
./src/caffe/layers/cudnn_relu_layer.cpp
./src/caffe/layers/cudnn_relu_layer.cu
./src/caffe/layers/cudnn_sigmoid_layer.cpp
./src/caffe/layers/cudnn_sigmoid_layer.cu
./src/caffe/layers/cudnn_tanh_layer.cpp
./src/caffe/layers/cudnn_tanh_layer.cu

3、使用cmake編譯時會遇到以下錯誤

../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_VarFree'
../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_VarReadDataLinear'
../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_Open'
../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_VarCreate'
../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_CreateVer'
../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_VarWrite'
../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_VarReadInfo'
../lib/libcaffe.so.1.0.0-rc3: undefined reference to `Mat_Close'

解決方法：
下載FindMATIO.cmake.zip檔案，解壓縮後拷貝到./cmake/Modules目錄中。
檔案下載路徑
並新增以下程式碼至./cmake/Dependencies.cmake檔案中

 # ---[ MATIO--add
find_package(MATIO REQUIRED)
include_directories(${MATIO_INCLUDE_DIR})
list(APPEND Caffe_LINKER_LIBS ${MATIO_LIBRARIES})

這樣基本能正常編譯caffe了。
以上基本就是整個環境配置的全過程，接下來就是開始把deeplab_v2跑起來了。

編譯deeplab_v2

之前提到過編譯caffe的指令碼可以直接下載，但是需要翻牆才能連上：
在這裡插入圖片描述
我下載下來的檔案如下：包括三個sh和一個sed，放在了voc12資料夾裡，接下來就是修改run_pascal.sh裡的一些檔案地址，然後執行即可。
還有一個list,需要放進list資料夾：

我的檔案如下：

#!/bin/sh

## MODIFY PATH for YOUR SETTING
ROOT_DIR=~/Documents/data/deeplab/DL_dataset    #此處為voc資料集主路徑

CAFFE_DIR=../deeplab-public-ver2                           #此處為官方caffe原始碼資料夾
CAFFE_BIN=${CAFFE_DIR}/build/tools/caffe          #需要修改原始檔    

EXP=.

if [ "${EXP}" = "." ]; then
    NUM_LABELS=21
    DATA_ROOT=${ROOT_DIR}/VOC_aug/dataset/
else
    NUM_LABELS=0
    echo "Wrong exp name"
fi
 

## Specify which model to train
########### voc12 ################
NET_ID=deeplab_largeFOV


## Variables used for weakly or semi-supervisedly training
#TRAIN_SET_SUFFIX=
TRAIN_SET_SUFFIX=_aug

#TRAIN_SET_STRONG=train
#TRAIN_SET_STRONG=train200
#TRAIN_SET_STRONG=train500
#TRAIN_SET_STRONG=train1000
#TRAIN_SET_STRONG=train750

#TRAIN_SET_WEAK_LEN=5000

DEV_ID=0

#####

## Create dirs

CONFIG_DIR=${EXP}/config/${NET_ID}
MODEL_DIR=${EXP}/model/${NET_ID}
mkdir -p ${MODEL_DIR}
LOG_DIR=${EXP}/log/${NET_ID}
mkdir -p ${LOG_DIR}
export GLOG_log_dir=${LOG_DIR}

## Run

RUN_TRAIN=1
RUN_TEST=0
RUN_TRAIN2=0
RUN_TEST2=0

## Training #1 (on train_aug)

if [ ${RUN_TRAIN} -eq 1 ]; then
    #
    LIST_DIR=${EXP}/list
    TRAIN_SET=train${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then
				TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
				comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
				TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
				comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP}/model/${NET_ID}/init.caffemodel
    #
    echo Training net ${EXP}/${NET_ID}
    for pname in train solver; do
				sed "$(eval echo $(cat sub.sed))" \
						${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done
        CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver_${TRAIN_SET}.prototxt \
         --gpu=${DEV_ID}"
		if [ -f ${MODEL} ]; then
				CMD="${CMD} --weights=${MODEL}"
		fi
		echo Running ${CMD} && ${CMD}
fi

## Test #1 specification (on val or test)

if [ ${RUN_TEST} -eq 1 ]; then
    #
    for TEST_SET in val; do
				TEST_ITER=`cat ${EXP}/list/${TEST_SET}.txt | wc -l`
				MODEL=${EXP}/model/${NET_ID}/test.caffemodel
				if [ ! -f ${MODEL} ]; then
						MODEL=`ls -t ${EXP}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
				fi
				#
				echo Testing net ${EXP}/${NET_ID}
				FEATURE_DIR=${EXP}/features/${NET_ID}
				mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
        mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc9
				mkdir -p ${FEATURE_DIR}/${TEST_SET}/seg_score
				sed "$(eval echo $(cat sub.sed))" \
						${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
				CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
				echo Running ${CMD} && ${CMD}
    done
fi

## Training #2 (finetune on trainval_aug)

if [ ${RUN_TRAIN2} -eq 1 ]; then
    #
    LIST_DIR=${EXP}/list
    TRAIN_SET=trainval${TRAIN_SET_SUFFIX}
    if [ -z ${TRAIN_SET_WEAK_LEN} ]; then
				TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}
				comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    else
				TRAIN_SET_WEAK=${TRAIN_SET}_diff_${TRAIN_SET_STRONG}_head${TRAIN_SET_WEAK_LEN}
				comm -3 ${LIST_DIR}/${TRAIN_SET}.txt ${LIST_DIR}/${TRAIN_SET_STRONG}.txt | head -n ${TRAIN_SET_WEAK_LEN} > ${LIST_DIR}/${TRAIN_SET_WEAK}.txt
    fi
    #
    MODEL=${EXP}/model/${NET_ID}/init2.caffemodel
    if [ ! -f ${MODEL} ]; then
				MODEL=`ls -t ${EXP}/model/${NET_ID}/train_iter_*.caffemodel | head -n 1`
    fi
    #
    echo Training2 net ${EXP}/${NET_ID}
    for pname in train solver2; do
				sed "$(eval echo $(cat sub.sed))" \
						${CONFIG_DIR}/${pname}.prototxt > ${CONFIG_DIR}/${pname}_${TRAIN_SET}.prototxt
    done
    CMD="${CAFFE_BIN} train \
         --solver=${CONFIG_DIR}/solver2_${TRAIN_SET}.prototxt \
         --weights=${MODEL} \
         --gpu=${DEV_ID}"
		echo Running ${CMD} && ${CMD}
fi

## Test #2 on official test set

if [ ${RUN_TEST2} -eq 1 ]; then
    #
    for TEST_SET in val test; do
				TEST_ITER=`cat ${EXP}/list/${TEST_SET}.txt | wc -l`
				MODEL=${EXP}/model/${NET_ID}/test2.caffemodel
				if [ ! -f ${MODEL} ]; then
						MODEL=`ls -t ${EXP}/model/${NET_ID}/train2_iter_*.caffemodel | head -n 1`
				fi
				#
				echo Testing2 net ${EXP}/${NET_ID}
				FEATURE_DIR=${EXP}/features2/${NET_ID}
				mkdir -p ${FEATURE_DIR}/${TEST_SET}/fc8
				mkdir -p ${FEATURE_DIR}/${TEST_SET}/crf
				sed "$(eval echo $(cat sub.sed))" \
						${CONFIG_DIR}/test.prototxt > ${CONFIG_DIR}/test_${TEST_SET}.prototxt
				CMD="${CAFFE_BIN} test \
             --model=${CONFIG_DIR}/test_${TEST_SET}.prototxt \
             --weights=${MODEL} \
             --gpu=${DEV_ID} \
             --iterations=${TEST_ITER}"
				echo Running ${CMD} && ${CMD}
    done
fi

詳細檔案可從github上獲得，包括指令碼和py檔案。
歡迎關注個人公號：ThuerStory，講述畢業後的帶娃生活。

Deeplab_v2+VOC資料集

概述

收集處理資料：

配置環境

編譯deeplab_v2

Deeplab_v2+VOC資料集

VOC資料集顏色對應關係與程式碼

VOC資料集用於製作tensorflow所需格式

PACAL VOC資料集格式的相關問題

yolo 學習筆記分享之--VOC資料集

配置FCN 8s voc資料集

ICnet基於VOC資料集的訓練

基於keras的YOLOv3在VOC資料集上訓練測試

Pascal Voc資料集詳細介紹

VOC資料集顏色表

VOC 資料集

No.3 ssd-caffe(2):訓練ssd-caffe模型：(以VOC資料集為例)

VOC資料集mAP計算

使用labelImg影象標註工具製作VOC資料集

使用keras版本的yoloV3訓練並在VOC資料集上測試

caffe-ssd 訓練自己的VOC資料集(一):轉換VOC xml資料為lmdb格式

《我的PaddlePaddle學習之路》筆記九——使用VOC資料集的實現目標檢測

淺談VOC資料集的mAP的計算過程

Caltech行人資料集轉化VOC資料集

計算機視覺標準資料集整理—PASCAL VOC資料集

Deeplab_v2+VOC資料集

概述

收集處理資料：

配置環境

編譯deeplab_v2

相關推薦