2. 程式人生 > >Faster-RCNN+ZF用自己的資料集訓練模型(Python版本)

Faster-RCNN+ZF用自己的資料集訓練模型(Python版本)

阿新 • • 發佈：2019-02-02

說明：本博文假設你已經做好了自己的資料集，該資料集格式和VOC2007相同。下面是訓練前的一些修改。

Faster-RCNN原始碼下載地址：

本文用到的是Python版本，在Linux下執行。

準備工作：

1.配置caffe

     這個不多說，網上教程很多。

2.其他的注意事項

下面大概翻譯一下上面網址的內容吧。

（1）安裝cython, python-opencv,easydict

pip install cython
pip install easydict
apt-get install python-opencv

（2）下載py-faster-rcnn

# Make sure to clone with --recursive
git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git

如圖：


（3）進入py-faster-rcnn/lib

   執行make

如圖：

（4）進入py-faster-rcnn\caffe-fast-rcnn

執行 cp Makefile.config.example Makefile.config

然後，配置Makefile.config檔案，可參考我的配置：Makefile.config檔案

配置好Makefile.config檔案後，執行：

make -j8 && make pycaffe

如圖：


（5）下載VOC2007資料集

解壓，然後，將該資料集放在py-faster-rcnn\data下，用你的資料集替換VOC2007資料集。（替換Annotations，ImageSets和JPEGImages）

（用你的Annotations，ImagesSets和JPEGImages替換py-faster-rcnn\data\VOCdevkit2007\VOC2007中對應資料夾）

（6）下載ImageNet資料集下預訓練得到的模型引數（用來初始化）

解壓，然後將該檔案放在py-faster-rcnn\data下

下面是訓練前的一些修改。

1.py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt/stage1_fast_rcnn_train.pt修改

layer {
  name: 'data'
  type: 'Python'
  top: 'data'
  top: 'rois'
  top: 'labels'
  top: 'bbox_targets'
  top: 'bbox_inside_weights'
  top: 'bbox_outside_weights'
  python_param {
    module: 'roi_data_layer.layer'
    layer: 'RoIDataLayer'
    param_str: "'num_classes': 16" #按訓練集類別改，該值為類別數+1
  }
}
 

layer {
  name: "cls_score"
  type: "InnerProduct"
  bottom: "fc7"
  top: "cls_score"
  param { lr_mult: 1.0 }
  param { lr_mult: 2.0 }
  inner_product_param {
    num_output: 16 #按訓練集類別改，該值為類別數+1
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}

layer {
  name: "bbox_pred"
  type: "InnerProduct"
  bottom: "fc7"
  top: "bbox_pred"
  param { lr_mult: 1.0 }
  param { lr_mult: 2.0 }
  inner_product_param {
    num_output: 64 #按訓練集類別改，該值為（類別數+1）*4
    weight_filler {
      type: "gaussian"
      std: 0.001
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}

2.py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt/stage1_rpn_train.pt修改

layer {
  name: 'input-data'
  type: 'Python'
  top: 'data'
  top: 'im_info'
  top: 'gt_boxes'
  python_param {
    module: 'roi_data_layer.layer'
    layer: 'RoIDataLayer'
    param_str: "'num_classes': 16" #按訓練集類別改，該值為類別數+1
  }
}

3.py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt/stage2_fast_rcnn_train.pt修改

layer {
  name: 'data'
  type: 'Python'
  top: 'data'
  top: 'rois'
  top: 'labels'
  top: 'bbox_targets'
  top: 'bbox_inside_weights'
  top: 'bbox_outside_weights'
  python_param {
    module: 'roi_data_layer.layer'
    layer: 'RoIDataLayer'
    param_str: "'num_classes': 16" #按訓練集類別改，該值為類別數+1
  }
}
layer {
  name: "cls_score"
  type: "InnerProduct"
  bottom: "fc7"
  top: "cls_score"
  param { lr_mult: 1.0 }
  param { lr_mult: 2.0 }
  inner_product_param {
    num_output: 16 #按訓練集類別改，該值為類別數+1
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}

layer {
  name: "bbox_pred"
  type: "InnerProduct"
  bottom: "fc7"
  top: "bbox_pred"
  param { lr_mult: 1.0 }
  param { lr_mult: 2.0 }
  inner_product_param {
    num_output: 64 #按訓練集類別改，該值為（類別數+1）*4
    weight_filler {
      type: "gaussian"
      std: 0.001
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}

4.py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt/stage2_rpn_train.pt修改

layer {
  name: 'input-data'
  type: 'Python'
  top: 'data'
  top: 'im_info'
  top: 'gt_boxes'
  python_param {
    module: 'roi_data_layer.layer'
    layer: 'RoIDataLayer'
    param_str: "'num_classes': 16" #按訓練集類別改，該值為類別數+1
  }
}

5.py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt/faster_rcnn_test.pt修改

layer {
  name: "cls_score"
  type: "InnerProduct"
  bottom: "fc7"
  top: "cls_score"
  inner_product_param {
    num_output: 16 #按訓練集類別改，該值為類別數+1
  }
}

layer {
  name: "bbox_pred"
  type: "InnerProduct"
  bottom: "fc7"
  top: "bbox_pred"
  inner_product_param {
    num_output: 64 #按訓練集類別改，該值為（類別數+1）*4
  }
}

6.py-faster-rcnn/lib/datasets/pascal_voc.py修改

（1） 
class pascal_voc(imdb):
    def __init__(self, image_set, year, devkit_path=None):
        imdb.__init__(self, 'voc_' + year + '_' + image_set)
        self._year = year
        self._image_set = image_set
        self._devkit_path = self._get_default_path() if devkit_path is None \
                            else devkit_path
        self._data_path = os.path.join(self._devkit_path, 'VOC' + self._year)
        self._classes = ('__background__', # always index 0
                         '你的標籤1','你的標籤2',你的標籤3','你的標籤4'
                      )

上面要改的地方是

修改訓練集資料夾：

self._data_path = os.path.join(self._devkit_path, 'VOC'+self._year)

用你的資料集直接替換原來VOC2007內的Annotations，ImageSets和JPEGImages即可,以免出現各種錯誤。

修改標籤：

self._classes = ('__background__', # always index 0
                         '你的標籤1','你的標籤2','你的標籤3','你的標籤4'
                      )

修改成你的資料集的標籤就行。

（2）

cls = self._class_to_ind[obj.find('name').text.lower().strip()]
這裡把標籤轉成小寫，如果你的標籤含有大寫字母，可能會出現KeyError的錯誤，所以建議標籤用小寫字母。

（去掉lower應該也行）

建議訓練的標籤還是用小寫的字母，如果最終需要用大寫字母或中文顯示標籤，可參考：

7.py-faster-rcnn/lib/datasets/imdb.py修改

該檔案的append_flipped_images(self)函式修改為： 
def append_flipped_images(self):
        num_images = self.num_images
        widths = [PIL.Image.open(self.image_path_at(i)).size[0]
                  for i in xrange(num_images)]
        for i in xrange(num_images):
            boxes = self.roidb[i]['boxes'].copy()
            oldx1 = boxes[:, 0].copy()
            oldx2 = boxes[:, 2].copy()
            boxes[:, 0] = widths[i] - oldx2 - 1
            print boxes[:, 0]
            boxes[:, 2] = widths[i] - oldx1 - 1
            print boxes[:, 0]
            assert (boxes[:, 2] >= boxes[:, 0]).all()
            entry = {'boxes' : boxes,
                     'gt_overlaps' : self.roidb[i]['gt_overlaps'],
                     'gt_classes' : self.roidb[i]['gt_classes'],
                     'flipped' : True}
            self.roidb.append(entry)
        self._image_index = self._image_index * 2
這裡assert (boxes[:, 2] >= boxes[:, 0]).all()可能出現AssertionError，具體解決辦法參考：

！！！為防止與之前的模型搞混,訓練前把output資料夾刪除（或改個其他名），還要把py-faster-rcnn/data/cache中的檔案和

py-faster-rcnn/data/VOCdevkit2007/annotations_cache中的檔案刪除（如果有的話）。

至於學習率等之類的設定，可在py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt中的solve檔案設定，迭代次數可在py-faster-rcnn\tools的train_faster_rcnn_alt_opt.py中修改：

max_iters = [80000, 40000, 80000, 40000]
分別為4個階段（rpn第1階段，fast rcnn第1階段，rpn第2階段，fast rcnn第2階段）的迭代次數。可改成你希望的迭代次數。

如果改了這些數值，最好把py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt裡對應的solver檔案（有4個）也修改，stepsize小於上面修改的數值。

8.開始訓練

進入py-faster-rcnn，執行：

./experiments/scripts/faster_rcnn_alt_opt.sh 0 ZF pascal_voc

這樣，就開始訓練了。

9.測試

將訓練得到的py-faster-rcnn\output\faster_rcnn_alt_opt\***_trainval中ZF的caffemodel拷貝至py-faster-rcnn\data\faster_rcnn_models（如果沒有這個資料夾，就新建一個），然後，修改：

py-faster-rcnn\tools\demo.py,主要修改：

CLASSES = ('__background__',
           '你的標籤1', '你的標籤2', '你的標籤3', '你的標籤4')

改成你的資料集標籤；

NETS = {'vgg16': ('VGG16',
                  'VGG16_faster_rcnn_final.caffemodel'),
        'zf': ('ZF',
                  'ZF_faster_rcnn_final.caffemodel')}

上面ZF的caffemodel改成你的caffemodel。

im_names = ['1559.jpg','1564.jpg']

改成你的測試圖片。(測試圖片放在py-faster-rcnn\data\demo中)

10.結果

在py-faster-rcnn下，

執行：

./tools/demo.py --net zf

或者將預設的模型改為zf：

parser.add_argument('--net', dest='demo_net', help='Network to use [vgg16]',
                        choices=NETS.keys(), default='vgg16')
修改：
default='zf'
執行： 
./tools/demo.py



      

相關推薦

Faster-RCNN+ZF用自己的資料集訓練模型(Python版本and MATLAB版本）

說明：本博文假設你已經做好了自己的資料集，該資料集格式和VOC2007相同。下面是訓練前的一些修改。 Faster-RCNN原始碼下載地址： 本文用到的是版本，在Linux下執行。 準備工作： 1.配置caffe   

Faster-RCNN+ZF用自己的資料集訓練模型(Python版本)

說明：本博文假設你已經做好了自己的資料集，該資料集格式和VOC2007相同。下面是訓練前的一些修改。 Faster-RCNN原始碼下載地址： 本文用到的是Python版本，在Linux下執行。 準備工作： 1.配置caffe      這個不多說，網上教程很多。

R-FCN+ResNet-50用自己的資料集訓練模型(python版本)

說明： 本文假設你已經做好資料集，格式和VOC2007一致，並且Linux系統已經配置好caffe所需環境（部落格裡教程很多），下面是訓練的一些修改。 py-R-FCN原始碼下載地址： 也有Matlab版本： 本文用到的是python版本。 準備工作： （1）配

【轉載】 Faster-RCNN+ZF用自己的數據集訓練模型(Matlab版本)

cmp fin ont -m lac tails ram pos 識別 說明：本博文假設你已經做好了自己的數據集，該數據集格式和VOC2007相同。下面是訓練前的一些修改。 （做數據集的過程可以看http://blog.csdn.net/sinat_30071459/art

py-faster-rcnn + ZF 實現自己的資料訓練與檢測(一)

0.前言 最近兩個星期，一直在看faster rcnn物體檢測，在一段折騰之後，總算能夠訓練自己的資料並進行物體檢測了。這篇部落格就當作是對最近整個實驗過程的記錄吧。首先先從最開始如何配置py-fas

tf-faster rcnn 配置 及自己資料

下面主要針對 https://github.com/endernewton/tf-faster-rcnn工程，作者寫的很好，但是對於我這種常識比較少的小白還是會遇到很多問題，所有都是從網上一點點找到的，整理在下面，希望可以減少大家的配置時間。 因為我是在windows10

用自己的資料集訓練faster-rcnn時出現的一些問題及總結(五)

關於faster-rcnn的原理訓練流程及其資料集的製備，已經都已完成。那麼問題來了，“自己製備的資料集，比如說自己為了增強資料集，進行圖片翻轉操作，然後記錄座標這樣的資料集，在訓練的過程中出現的問題”一、在呼叫append_flipped_images函式時出現： asse

ChainerCV下用自己的資料集訓練Faster RCNN

一、ChainerCV         ChainerCV，一個用於計算機視覺的深度學習實用庫。這個庫旨在通過 Chainer 簡易化計算機視覺的訓練和深度學習模型應用的過程。它包含計算機視覺模型的高質量實現，以及開展計算機視覺研究的必備工具集。當前，ChainerCV

使用pytorch版faster-rcnn訓練自己資料集

使用pytorch版faster-rcnn訓練自己資料集 引言 faster-rcnn pytorch程式碼下載 訓練自己資料集 接下來工作 參考文獻 引言 最近在復現目標檢測程式碼（師兄強烈推薦F

用自己資料訓練faster-rcnn---cpu

模型下載： 修改模型中的部分程式碼： 因為是用CPU跑模型，所以要對程式碼進行適當修改。 用自己的資料集訓練faster-rcnn: 1.擁有訓練的資料以及資料對應的xml檔案。 我這裡用的是以前人臉座標資料，用的標註工具是LableImg，當然還有其他的標

Faster-RCNN 訓練自己資料集的坑記錄

主要照這篇部落格進行訓練配置，因為沒有GPU所以好多坑，CPU訓練可以參見這篇部落格 正所謂，跑通了的都一樣，錯誤千萬樣。按照教程來也是坑多 訓練： python train_faster_rcnn_alt_opt.py --net_name ZF --weights

py-faster-rcnn訓練自己資料集需要修改的引數

faster rcnn預設有三種網路模型ZF（小）、VGG_CNN_M_1024（中）、VGG16 （大） 訓練圖片大小為500*500，類別數1。 修改VGG_CNN_M_1024模型配置

windows下使用自己製作的資料集訓練faster-rcnn（tensorflow版）用於目標檢測

步驟一 步驟二 步驟三 用你的Annotations，ImagesSets和JPEGImages替換…\Faster-RCNN-TensorFlow-Python3.5\data\VOCdevkit2007\VOC2007中對應資料夾

用自己的資料集訓練Mask-RCNN實現過程中的坑

本文僅僅是自己實現過程的筆記記錄，僅僅用來交流的。 在網上大量蒐集資料後，實現Mask-RCNN，但是過程中還是出現了很多很多的問題，所以將過程記錄如下，方便日後學習。 一、實驗前準備 1. COCO資料集 COCO的 全稱是Common Objects in COn

使用自己的資料集訓練faster-rcnn

在安裝完成caffe後，並且編譯完成github上的faster-rcnn python版之後，可以採用自己的資料來訓練faster-rcnn了。 一，檔案修改： 1，在py-faster-rcnn目錄下，找到lib/datasets/pascal_vo

用ImageNet的資料集訓練Faster R-CNN

轉自：http://blog.csdn.net/jiajunlee/article/details/50470897 訓練結果 第一次訓練，ZF，30W張圖片，200類，迭代80k40K，mAP: 18.0% 問題彙總 總結： ImageNet訓練資料集部分標註缺失

Fast RCNN 訓練自己資料集 (1編譯配置)

FastRCNN 訓練自己資料集 (1編譯配置) FastRCNN是Ross Girshick在RCNN的基礎上增加了Multi task training整個的訓練過程和測試過程比RCNN快了許多。別的一些細節不展開，過幾天會上傳Fast RCNN的論文筆記。FastRCNN mAP效能上略有上升。Fa

tensorflow 用自己的資料集訓練CNN模型

最近用tensorflow訓練自己的模型的時候發現，tensorflow官網上所給的例子，都是用處理好資料格式的mnist資料或者其他格式的資料，所以在訓練自己的模型的時候的第一步就卡住了。所以上網搜尋了相關的資料之後便得出了相關的解決方案（有好幾種，這裡只說明一種，另外

用自己的資料集訓練tf-ssd模型

資料集製作因為老闆接的豐田的一個專案，工廠那邊要求能識別出雨天打傘的行人、交通錐形桶、躺在地上的人等，PASCAL VOC的資料集類別裡沒這些，是滿足不了他們要求了，所以要去製作資料集訓練網路。我們去現場拍了些視訊，然後用我之前寫的一個指令碼解析，得到原始圖片，拿給實驗室的學

Fast RCNN 訓練自己資料集 (2修改資料讀取介面)

Fast RCNN訓練自己的資料集 （2修改讀寫介面） 這裡樓主講解了如何修改Fast RCNN訓練自己的資料集，首先請確保你已經安裝好了Fast RCNN的環境，具體的編配編制操作請參考我的上一篇文章。首先可以看到fast rcnn的工程目錄下有個Lib目錄 這裡下面存在3個目錄分別是： datase