1. 程式人生 > >darknet YOLOv2安裝及資料集訓練

darknet YOLOv2安裝及資料集訓練

一、 YOLOv2安裝使用

1. darknet YOLOv2安裝

git clone https://github.com/pjreddie/darknet
cd darknet
make


或到網址上下載darknet資料夾,解壓後在darknet資料夾下執行make編譯。

2. 預測模型權重下載


wget https://pjreddie.com/media/files/yolo.weights

或到網址上下載yolo.weights,放到darknet目錄下。

3. 目標檢測


./darknet detect cfg/yolo.cfg yolo.weights data/dog.jpg


預測過程大約需要15S,結果儲存在darknet目錄下predictions.jpg


二、 YOLOv2重新訓練

1. 準備資料&&打標


資料包括訓練資料和驗證資料,所有資料需要把要識別的物體事先標註出來,標註工具推薦使用labelImg

打標的結果儲存在xml檔案中。

2. 建立訓練和驗證資料資料夾/提取圖片名稱


在darknet資料夾下建立4個資料夾----trainImage、validateImage、trainImageXML、validateImageXML,分別用來存放訓練圖片、驗證圖片、訓練圖片的xml標籤、驗證圖片的xml標籤。
在darknet資料夾下建立2個txt檔案————trainImageId.txt和validateImageId.txt,分別用來存放訓練圖片和測試圖片的名稱(含字尾不包含目錄)。  這一步可以在上邊4個資料夾手動建立完成的基礎上呼叫python指令碼自動完成,createID.py下載地址:

https://code.csdn.net/snippets/2601808
把createdID.py檔案放在darkent目錄下直接執行就可以分別生成trainImageId.txt和validateImageId.txt

3. xml標籤轉換成txt/圖片路徑提取


訓練需要把圖片的xml格式標籤轉換成txt檔案格式,並且需要把所有的訓練和驗證資料圖片的路徑提取到一個單獨的txt檔案裡,供訓練的時候讀取,本步驟可以使用python指令碼自動完成,trans.py下載地址:https://code.csdn.net/snippets/2601809
下載完成之後把 trans.py 放到darknet目錄下,需要把 trans.py 中classes分類的內容改成自己的分類之後

再執行即可。

執行之後生成一系列檔案,分別是:
XXX.txt——存放訓練/驗證圖片的xml標籤轉換成的txt檔案,自動生成的所有訓練和驗證的txt檔案儲存在對應的trainImage和validateImage資料夾下;
trainImagePath.txt/validateImagePath.txt——存放訓練/驗證圖片的名稱(包含字尾)和完整路徑;

4. 修改配置檔案

4.1 修改cfg/voc.data檔案

voc.data是整個訓練流程的引入檔案,記錄了訓練的 classes(分類)、train(訓練資料)、valid(驗證資料)、names(訓練模型)、backup(訓練結果儲存路徑)。根據自己的情況分別做以下更改:

  •    classes = N (N為自己的分類數量,有10類不同的物件,N = 10)
  •    train = /home/XXX/darknet/trainImagePath.txt
  •    valid = /home/XXX/darknet/validateImagePath.txt
  •    names = data/voc.names (需要修改原voc.names檔案中引數)
  •    backup = backup (訓練結果儲存在darknet/backup/目錄下)

4.2 修改data/voc.names檔案

voc.names檔案存放的是所有的分類,原始檔案一共有20類,每類單獨佔一行,一共20行,根據自己的分類情況做更改,例如有3種分類,分別是class1、class2、class3,則更改voc.names檔案為:
class1
class2
class3


4.3 修改cfg/yolo-voc.2.0.cfg檔案

yolo-voc.2.0.cfg檔案定義yolo訓練使用的網路,有兩處需要更改:

  •    classes = N (N為自己的分類數)
  •    最後一個convolutional層中 filters = (classes+ coords+ 1)* (NUM),classes是分類數,coords和NUM在 voc.2.0.cfg中分別設定為4和5,所以如果有3個分類,則修改filters的值為40((3+4+1)×5 =40 )

4.4 下載預訓練卷積權重檔案darknet19_448.conv.23

5. yolo訓練

yolo預設訓練會迭代45000次,訓練之前可以根據自己的情況修改迭代次數,進入cfg/yolo_voc.2.0.cfg修改max_batches的值。
在darknet目錄下執行訓練命令:

./darknet detector train cfg/voc.data cfg/yolo-voc.2.0.cfg cfg/darknet19_448.conv.23

訓練完成之後的權重檔案儲存在darknet/backup資料夾下。

6. 訓練結果測試

執行以下命令執行測試:

./darknet detector test cfg/voc.data cfg/yolo-voc.2.0.cfg backup/yolo-voc_final.weights 01.jpg

7. 附

附 CreateID.py 和 trans.py 程式碼

CreateID.py:

# -*- coding: utf-8 -*-
import os;
import shutil;

def listname(path,idtxtpath):
    filelist = os.listdir(path);  # 該資料夾下所有的檔案(包括資料夾)
    filelist.sort()
    f = open(idtxtpath, 'w');
    for files in filelist:  # 遍歷所有檔案
        Olddir = os.path.join(path, files);  # 原來的檔案路徑
        if os.path.isdir(Olddir):  # 如果是資料夾則跳過
            continue;
        f.write(files);
        f.write('\n');
    f.close();

savepath = os.getcwd()
imgidtxttrainpath = savepath+"/trainImageId.txt"
imgidtxtvalpath = savepath + "/validateImageId.txt"
listname(savepath + "/trainImage",imgidtxttrainpath)
listname(savepath + "/validateImage",imgidtxtvalpath)
print "trainImageId.txt && validateImageId.txt have been created!"

trans.py

import xml.etree.ElementTree as ET
import pickle
import string
import os
import shutil
from os import listdir, getcwd
from os.path import join
import cv2

sets=[('2012', 'train')]

classes = ["class1","class2","class3","class4"]

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(image_id,flag,savepath):

    if flag == 0:
        in_file = open(savepath+'/trainImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/trainImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')
        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')

        img = cv2.imread('./trainImage/'+str(image_id))
        h = img.shape[0]
        w = img.shape[1]

    elif flag == 1:
        in_file = open(savepath+'/validateImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/validateImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')

        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')

        img = cv2.imread('./validateImage/' + str(image_id))
        h = img.shape[0]
        w = img.shape[1]

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    savepath = os.getcwd();
    idtxt = savepath + "/validateImageId.txt";
    pathtxt = savepath + "/validateImagePath.txt";
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
            image_id = image_id[3:]
        list_file.write('%s/validateImage/%s\n' % (wd, image_id))
        print(image_id)
        convert_annotation(image_id, 1, savepath)
    list_file.close()

    idtxt = savepath + "/trainImageId.txt";
    pathtxt = savepath + "/trainImagePath.txt" ;
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
           image_id = image_id[3:]
        list_file.write('%s/trainImage/%s\n'%(wd,image_id))
        print(image_id)
        convert_annotation(image_id,0,savepath)
    list_file.close()