2. 程式人生 > >Faster-RCNN 訓練自己資料集的坑記錄

Faster-RCNN 訓練自己資料集的坑記錄

阿新 • • 發佈：2019-01-06

主要照這篇部落格進行訓練配置，因為沒有GPU所以好多坑，CPU訓練可以參見這篇部落格

正所謂，跑通了的都一樣，錯誤千萬樣。按照教程來也是坑多

訓練：

 python train_faster_rcnn_alt_opt.py  --net_name ZF --weights /home/lys/py-faster-rcnn/data/imagenet_models/ZF.v2.caffemodel --cfg /home/lys/py-faster-rcnn/experiments/cfgs/faster_rcnn_alt_opt.yml  --imdb voc_2007_trainval


error1：

Cannot use GPU in CPU-only Caffe: check mode.

solution1：

把py-faster-rcnn/tools/下的所有py檔案中的GPU註釋掉，然後mode設為cpu。示例如下：

#    caffe.set_mode_gpu()
    caffe.set_mode_cpu()
#    if args.gpu_id is not None:
#        caffe.set_device(args.gpu_id)

error2：
Process Process-1:
Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
    self.run()
  File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "train_faster_rcnn_alt_opt.py", line 125, in train_rpn
    roidb, imdb = get_roidb(imdb_name)
  File "train_faster_rcnn_alt_opt.py", line 62, in get_roidb
    imdb = get_imdb(imdb_name)
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/factory.py", line 38, in get_imdb
    return __sets[name]()
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/factory.py", line 20, in <lambda>
    __sets[name] = (lambda split=split, year=year: pascal_voc(split, year))
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/pascal_voc.py", line 39, in __init__
    self._image_index = self._load_image_set_index()
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/pascal_voc.py", line 83, in _load_image_set_index
    'Path does not exist: {}'.format(image_set_file)
AssertionError: Path does not exist: /home/lys/py-faster-rcnn/data/VOCdevkit2007/VOC2007/ImageSets/Main/trainval.txt
solution2：

智障錯誤。只顧了檢視trainval.txtz在不在了，沒有建立VOCdevkit2007資料夾，直接就VOC2007了

error3：

Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
    self.run()
  File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "train_faster_rcnn_alt_opt.py", line 125, in train_rpn
    roidb, imdb = get_roidb(imdb_name)
  File "train_faster_rcnn_alt_opt.py", line 68, in get_roidb
    roidb = get_training_roidb(imdb)
  File "/home/lys/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 118, in get_training_roidb
    imdb.append_flipped_images()
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/imdb.py", line 108, in append_flipped_images
    boxes = self.roidb[i]['boxes'].copy()
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/imdb.py", line 67, in roidb
    self._roidb = self.roidb_handler()
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/pascal_voc.py", line 112, in gt_roidb
    for index in self.image_index]
  File "/home/lys/py-faster-rcnn/tools/../lib/datasets/pascal_voc.py", line 217, in _load_pascal_annotation
    cls = self._class_to_ind[obj.find('name').text.lower().strip()]
KeyError: 'leftatrial'

solution3：
cls = self._class_to_ind[obj.find('name').text.lower().strip()]把lower()去掉，上面提到的第一篇部落格有講

error4：
I0627 10:57:37.710443 10173 solver.cpp:81] Creating training net from train_net file: models/pascal_voc/ZF/faster_rcnn_alt_opt/stage1_rpn_train.pt
F0627 10:57:37.710464 10173 io.cpp:36] Check failed: fd != -1 (-1 vs. -1) File not found: models/pascal_voc/ZF/faster_rcnn_alt_opt/stage1_rpn_train.pt
solution4：

把/home/lys/py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt下的4個stage1_fast_rcnn_solver30k40k類的檔案設定絕對路徑

train_net: "/home/lys/py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt/stage1_rpn_train.pt"上文提到的第二篇部落格
error5：
F0627 11:27:37.913828 10633 smooth_L1_loss_layer.cpp:54] Not Implemented Yet
solution5：

實現這個檔案中的兩個函式，然後進入到caffe-fast-rcnn下重新make一下。參照這篇部落格(template處缺少<typename Dtype>)和這篇不過我目前沒有更改roi檔案，，果然還是得改。。。。。github上也有這個問題

// ------------------------------------------------------------------
// Fast R-CNN
// Copyright (c) 2015 Microsoft
// Licensed under The MIT License [see fast-rcnn/LICENSE for details]
// Written by Ross Girshick
// ------------------------------------------------------------------

#include "caffe/fast_rcnn_layers.hpp"

namespace caffe {

template <typename Dtype>
void SmoothL1LossLayer<Dtype>::LayerSetUp(
  const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) {
  SmoothL1LossParameter loss_param = this->layer_param_.smooth_l1_loss_param();
  sigma2_ = loss_param.sigma() * loss_param.sigma();
  has_weights_ = (bottom.size() >= 3);
  if (has_weights_) {
    CHECK_EQ(bottom.size(), 4) << "If weights are used, must specify both "
      "inside and outside weights";
  }
}

template <typename Dtype>
void SmoothL1LossLayer<Dtype>::Reshape(
  const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) {
  LossLayer<Dtype>::Reshape(bottom, top);
  CHECK_EQ(bottom[0]->channels(), bottom[1]->channels());
  CHECK_EQ(bottom[0]->height(), bottom[1]->height());
  CHECK_EQ(bottom[0]->width(), bottom[1]->width());
  if (has_weights_) {
    CHECK_EQ(bottom[0]->channels(), bottom[2]->channels());
    CHECK_EQ(bottom[0]->height(), bottom[2]->height());
    CHECK_EQ(bottom[0]->width(), bottom[2]->width());
    CHECK_EQ(bottom[0]->channels(), bottom[3]->channels());
    CHECK_EQ(bottom[0]->height(), bottom[3]->height());
    CHECK_EQ(bottom[0]->width(), bottom[3]->width());
  }
  diff_.Reshape(bottom[0]->num(), bottom[0]->channels(),
      bottom[0]->height(), bottom[0]->width());
  errors_.Reshape(bottom[0]->num(), bottom[0]->channels(),
      bottom[0]->height(), bottom[0]->width());
  // vector of ones used to sum
  ones_.Reshape(bottom[0]->num(), bottom[0]->channels(),
      bottom[0]->height(), bottom[0]->width());
  for (int i = 0; i < bottom[0]->count(); ++i) {
    ones_.mutable_cpu_data()[i] = Dtype(1);
  }
}

template <typename Dtype>
void SmoothL1LossLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
    const vector<Blob<Dtype>*>& top) {
  //NOT_IMPLEMENTED;

  // cpu implementation
  CHECK_EQ(bottom[0]->count(1), bottom[1]->count(1))
      << "Inputs must have the same dimension.";
  int count = bottom[0]->count();
  caffe_sub(count, 
            bottom[0]->cpu_data(), 
            bottom[1]->cpu_data(),
            diff_.mutable_cpu_data());

  if(has_weights_){
    caffe_mul(count, 
              bottom[2]->cpu_data(), 
              diff_.cpu_data(), 
              diff_.mutable_cpu_data());
  }
  // f(x) = 0.5 * (sigma * x)^2          if |x| < 1 / sigma / sigma
  //        |x| - 0.5 / sigma / sigma    otherwise
  const Dtype* in = diff_.cpu_data();
  Dtype* out = errors_.mutable_cpu_data();
  for(int index=0; index<count; ++index){
    Dtype val = in[index];
    Dtype abs_val = abs(val);
    if(abs_val < 1.0 / sigma2_){
        out[index] = 0.5 * val * val * sigma2_;
    }
    else{
        out[index] = abs_val - 0.5 / sigma2_;
    }
  }

  if(has_weights_){
    caffe_mul(count, bottom[3]->cpu_data(), out, errors_.mutable_cpu_data());
  }

  // compute loss
  Dtype loss = caffe_cpu_dot(count, ones_.cpu_data(), errors_.cpu_data());
  top[0]->mutable_cpu_data()[0] = loss / bottom[0]->num();
  // end cpu implementation

}

template <typename Dtype>
void SmoothL1LossLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom) {
  //NOT_IMPLEMENTED;
  // cpu implementation
  int count = diff_.count();
  const Dtype* in = diff_.cpu_data();
  Dtype* out = diff_.mutable_cpu_data();
  for(int index=0; index < count; index++){
    Dtype val = in[index];
    Dtype abs_val = abs(val);
    if(abs_val < 1.0 / sigma2_){
        out[index] = sigma2_ *  val;
    } 
    else{
        out[index] = (Dtype(0) < val) - (val < Dtype(0));
    }
  }

  for(int i=0; i<2; ++i){
    if(propagate_down[i]){
        const Dtype sign = (i == 0) ? 1 : -1;
        const Dtype alpha = sign * top[0]->cpu_diff()[0] / bottom[i]->num();
        caffe_cpu_axpby(
            count, 
            alpha, 
            out,//diff_.cpu_data(), 
            Dtype(0), 
            bottom[i]->mutable_cpu_diff());

        if(has_weights_){
            caffe_mul(
                count, 
                bottom[2]->cpu_data(), 
                bottom[i]->cpu_diff(), 
                bottom[i]->mutable_cpu_data());
            caffe_mul(
                count,
                bottom[3]->cpu_data(),
                bottom[i]->cpu_diff(),
                bottom[i]->mutable_cpu_data());
        }
    }
  }
  // end cpu implementation
}

#ifdef CPU_ONLY
STUB_GPU(SmoothL1LossLayer);
#endif

INSTANTIATE_CLASS(SmoothL1LossLayer);
REGISTER_LAYER_CLASS(SmoothL1Loss);

}  // namespace caffe
error6：一天了。。。。我已經從第一個錯誤犯到第六個了。。。。加油。。。。。。
Process Process-3:
Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
    self.run()
  File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "train_faster_rcnn_alt_opt.py", line 198, in train_fast_rcnn
    max_iters=max_iters)
  File "/home/lys/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 160, in train_net
    model_paths = sw.train_model(max_iters)
  File "/home/lys/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 101, in train_model
    self.solver.step(1)
  File "/home/lys/py-faster-rcnn/tools/../lib/roi_data_layer/layer.py", line 144, in forward
    blobs = self._get_next_minibatch()
  File "/home/lys/py-faster-rcnn/tools/../lib/roi_data_layer/layer.py", line 63, in _get_next_minibatch
    return get_minibatch(minibatch_db, self._num_classes)
  File "/home/lys/py-faster-rcnn/tools/../lib/roi_data_layer/minibatch.py", line 55, in get_minibatch
    num_classes)
  File "/home/lys/py-faster-rcnn/tools/../lib/roi_data_layer/minibatch.py", line 100, in _sample_rois
    fg_inds, size=fg_rois_per_this_image, replace=False)
  File "mtrand.pyx", line 1176, in mtrand.RandomState.choice (numpy/random/mtrand/mtrand.c:18822)
TypeError: 'numpy.float64' object cannot be interpreted as an index

solution6:

調整numpy版本，部落格

python -c "import numpy;print numpy.version.version"#檢視numpy版本，1.12.1

sudo pip install -U numpy==1.11.0

訓練終於告一段落。。。。。感謝各路部落格大神

再訓練 又出錯，不過可以避免的，我明明記得刪掉pkl了。。。。

error7:

Process Process-1:
Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
    self.run()
  File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "train_faster_rcnn_alt_opt.py", line 125, in train_rpn
    roidb, imdb = get_roidb(imdb_name)
  File "train_faster_rcnn_alt_opt.py", line 68, in get_roidb
    roidb = get_training_roidb(imdb)
  File "/home/lys/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 122, in get_training_roidb
    rdl_roidb.prepare_roidb(imdb)
  File "/home/lys/py-faster-rcnn/tools/../lib/roi_data_layer/roidb.py", line 27, in prepare_roidb
    roidb[i]['image'] = imdb.image_path_at(i)
IndexError: list index out of range
solution7:

刪除py-faster-rcnn/data/cache/ 資料夾下的.pkl檔案，或者改名備份，重新訓練即可。部落格最後的error2

error8:

 obj for obj in objs if int(obj.find('difficult').text) == 0]

zhushudiao

error9:

Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in _bootstrap
    self.run()
  File "/usr/lib/python2.7/multiprocessing/process.py", line 114, in run
    self._target(*self._args, **self._kwargs)
  File "train_faster_rcnn_alt_opt.py", line 195, in train_fast_rcnn
    max_iters=max_iters)
  File "/home/amax/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 160, in train_net
    model_paths = sw.train_model(max_iters)
  File "/home/amax/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 111, in train_model
    model_paths.append(self.snapshot())
  File "/home/amax/py-faster-rcnn/tools/../lib/fast_rcnn/train.py", line 73, in snapshot
    self.bbox_stds[:, np.newaxis])
ValueError: operands could not be broadcast together with shapes (84,4096) (8,1)




測試：

將py-faster-rcnn/output/faster_rcnn_alt_opt/voc_2007_trainval/下的ZF_faster_rcnn_final.caffemodel複製到/py-faster-rcnn/data/faster_rcnn_models/下，在tools下執行

python demo.py --net zf --cpu

調整引數：參見部落格

學習率之類：

      py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt中的solve檔案設定

迭代次數

     py-faster-rcnn/tools/train_faster_rcnn_alt_opt.py中修改
     py-faster-rcnn/models/pascal_voc/ZF/faster_rcnn_alt_opt裡對應的solver檔案（有4個）也修改，stepsize小於上面修改的數值   

相關推薦

Faster-RCNN 訓練自己資料集的坑記錄

主要照這篇部落格進行訓練配置，因為沒有GPU所以好多坑，CPU訓練可以參見這篇部落格 正所謂，跑通了的都一樣，錯誤千萬樣。按照教程來也是坑多 訓練： python train_faster_rcnn_alt_opt.py --net_name ZF --weights

使用pytorch版faster-rcnn訓練自己資料集

使用pytorch版faster-rcnn訓練自己資料集 引言 faster-rcnn pytorch程式碼下載 訓練自己資料集 接下來工作 參考文獻 引言 最近在復現目標檢測程式碼（師兄強烈推薦F

py-faster-rcnn訓練自己資料集需要修改的引數

faster rcnn預設有三種網路模型ZF（小）、VGG_CNN_M_1024（中）、VGG16 （大） 訓練圖片大小為500*500，類別數1。 修改VGG_CNN_M_1024模型配置

Fast RCNN 訓練自己資料集 (1編譯配置)

FastRCNN 訓練自己資料集 (1編譯配置) FastRCNN是Ross Girshick在RCNN的基礎上增加了Multi task training整個的訓練過程和測試過程比RCNN快了許多。別的一些細節不展開，過幾天會上傳Fast RCNN的論文筆記。FastRCNN mAP效能上略有上升。Fa

Fast RCNN 訓練自己資料集 (2修改資料讀取介面)

Fast RCNN訓練自己的資料集 （2修改讀寫介面） 這裡樓主講解了如何修改Fast RCNN訓練自己的資料集，首先請確保你已經安裝好了Fast RCNN的環境，具體的編配編制操作請參考我的上一篇文章。首先可以看到fast rcnn的工程目錄下有個Lib目錄 這裡下面存在3個目錄分別是： datase

用Faster RCNN訓練自己的資料集

Faster RCNN（py caffe）工程各個目錄的作用： caffe-fast-rcnn：caffe框架目錄； data：用來存放pretrained（預訓練）模型以及讀取檔案的cache快取，還有一些下載模型的指令碼； experiments:存放配置

Caffe學習系列——Faster-RCNN訓練自己的資料集

由於要實現服裝的目標檢測，所以一直在研究Faster-RCNN 。講到目標檢測，不得不提到rbg大神的深度神經網路檢測算法系列RCNN、Fast-RCNN、Faster-RCNN，其還在github上開源了自己的程式碼，造福廣大碼農。這是rbg大神的主頁 https://people.eecs.berk

Faster RCNN 訓練自己的資料集遇到的一些問題

1. xml標籤格式問題 原本的標籤是yaml格式的，需要轉換成xml格式。 在製作xml標籤時，有些資訊是比較重要的不能省略 <?xml version="1.0" encoding="utf-8"?> <annotation> <folder>

不能再詳細！！！手把手教你用Faster-RCNN訓練自己的資料集

一、環境安裝準備 python2.7以及相關的包cython, python-opencv, easydict 本文假設你已經按照上面的教程完成了安裝，並可以執行demo.py 並且可以訓練 二、準備自己的資料集 在實際的應用中，這個資料集肯定是自己專案裡面拍攝的。

深度學習Caffe實戰筆記（20）Windows平臺 Faster-RCNN 訓練自己的資料集

1、把自己的資料集放到Faster-master中 我覺得這個過程是最重要的一個過程吧，博主在這裡跳了很多的坑，最後找到了一個非常簡單高效的方法。不用修改任何檔案，就可以輕鬆實現載入自己的資料集。 在faster_rcnn-master資料夾下，有一個d

利用faster rcnn 訓練自己的資料集——kitti資料集

前言：非常感謝https://blog.csdn.net/flztiii/article/details/73881954，這篇部落格，本文主要參考這篇文章kitti資料集是一個車輛檢測的資料集資料集的準備Kitti資料集的下載只需要第一個圖片集（12G）和標註檔案即可【第一

win10 tensorflow faster rcnn訓練自己的資料集（一、製作VOC2007資料集）

參考部落格：http://blog.csdn.net/gaohuazhao/article/details/60871886 一、關於VOC資料集： 1)JPEGImages資料夾 資料夾裡包含了訓練圖片和測試圖片，混放在一起 2)Annatations資料夾 資

使用faster rcnn訓練自己的資料（py-faster-rcnn ）

出於在csdn上面學到很多東西這裡也幫自己的一些收穫和大家分享一下     直奔主題~~ 前提是已經安裝好caffe的環境 本文是在Ubuntu 15.04下做的測試 $Faster_rcnn表示py-faster-rcnn根目錄 1. 修改資料介面 （$Faster_rc

faster-rcnn訓練自己的資料時報錯too many indices

利用faster-rcnn 好不容易四個階段訓練完了，在測試的時候出現這個錯誤。 原因：在data/VOCdevkit2007/results/VOC2007/Main/  這個檔案下有n個txt檔案。n是你的類別數            每個txt儲存了test.txt

《錯誤手記-01》 facenet使用預訓練模型fine-tune重新訓練自己資料集報錯

環境資訊：windows10+python3.5+tensorflow1.6.0 問題描述： 在自己的訓練集上跑train_softmax.py.  引數： --logs_base_dir F:/work/runspace/log/  --models_base_

Kaldi中thchs30訓練自己資料集的步驟

一、資料準備過程 網上下載的thchs-openslr資料集需要換成自己的資料集，包含兩個資料夾：data_thchs30和resource。下面講解如何搞定這一部分。 資料集在data_thchs30檔案中，包含四個部分（data、train、dev、test）。 data資料夾中包

yolov3訓練自己資料集可參考文章

參考部落格原址： https://blog.csdn.net/u012966194/article/details/80004647 這篇文章將介紹編譯darknet框架開始，到整理資料集，到用yolo網路實現一個內部資料集中號碼簿的定

Yolov3訓練自己資料集+資料分析

訓練自己到資料集已經在上一篇文中說明過了，這一篇著重記錄一下資料分析過程 資料分析 1. mAP值計算 1)訓練完成後，執行darknet官方程式碼中到 detector valid 命令，生成對測試集到檢測結果，命令如下： ./darknet detector va

【YOLO初探】之 keras-yolov3訓練自己資料集

寫在前面 如何使用官方資料集參看上一篇文章《【YOLO初探】之 使用官方資料集做目標分類》 傳送門：https://blog.csdn.net/plSong_CSDN/article/details/85108256 這裡，筆者使用了260張訓練資料，完成了人臉中“眼睛”、“鼻子”、“嘴

YOLOv3在訓練自己資料集時的速度慢問題

YOLOv3以速度快著稱，但是在訓練自己的資料集時發現儘管在命令中同時開啟了多塊gpu，但速度仍舊很慢。按照其他人的訓練日誌可以看出64batch的單gpu訓練，每次迭代大約需要不到1秒但是自己在訓練時卻需要好幾個小時，首先想到的是自己的資料集是否圖片解析度太高，比較之後發現