1. 程式人生 > >製作VOC2007格式資料集用於Faster-RCNN訓練

製作VOC2007格式資料集用於Faster-RCNN訓練

轉自http://blog.csdn.net/sinat_30071459/article/details/50723212,自己加入了自己製作資料集時遇到的一些問題,和想法

首先錄一段想製作成資料集的目標的視訊,截成一幀一幀的圖片,作為資料集的原材料。

0.資料夾名

首先,確定你的資料集所放的資料夾名字,例如我的叫logos。

(或者和voc2007一樣的名字:VOC2007)

1.圖片命名

雖然說圖片名對訓練沒什麼影響,但建議還是按VOC2007那樣,如“000005.jpg”這種形式。至於圖片格式,程式碼裡是寫的jpg。 批量修改圖片名字為VOC2007格式可以參考以下Matlab程式碼:
  1. %%  
  2. %圖片儲存路徑為:  
  3. %E:\image\car  
  4. %E:\image\person  
  5. %car和person是儲存車和行人的資料夾  
  6. %這些資料夾還可以有多個,  
  7. %放在image資料夾裡就行  
  8. %該程式碼的作用是將圖片名字改成000123.jpg這種形式  
  9. %%  
  10. clc;  
  11. clear;  
  12. maindir='E:\image\';  
  13. name_long=5; %圖片名字的長度,如000123.jpg為6,最多9位,可修改  
  14. num_begin=1; %影象命名開始的數字如000123.jpg開始的話就是123  
  15. subdir = dir(maindir);  
  16. n=1;  
  17. for i = 1:length(subdir)  
  18.   if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')  
  19.      subsubdir = dir(strcat(maindir,subdir(i).name));  
  20.     for j=1:length(subsubdir)  
  21.          if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')  
  22.             img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);  
  23.             imshow(img);  
  24.             str=num2str(num_begin,'%09d');  
  25.             newname=strcat(str,'.jpg');  
  26.             newname=newname(end-(name_long+3):end);  
  27.             system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);  
  28.             num_begin=num_begin+1;  
  29.             fprintf('當前處理資料夾%s',subdir(i).name);  
  30.             fprintf('已經處理%d張圖片\n',n);  
  31.             n=n+1;  
  32.            pause(0.1);%可以將暫停去掉  
  33.          end  
  34.     end  
  35.   end  
  36. end  
圖片名如果比較特殊或者像1(1).jpg等這類可能無法重新命名,可以使用imwrite,如:
  1. imwrite(img,strcat(save_path,newname));%改名後儲存到另一資料夾,原圖片不變  
也可以使用Total Commander來批量重新命名,非常方便,推薦使用這個工具。 此處附上自己做的Python寫的檔案編號
import os

def rename(name_long):
    count = 0
    path_in = 'D:\\messing\\test'   #需要進行編號的圖片儲存資料夾
    path_out = 'D:\\messing\\test\\finish'  #編號後的圖片儲存位置
    filelist = os.listdir(path_in)  # 該資料夾下所有的檔案(包括資料夾)
    for files in filelist:  # 遍歷所有檔案
        Olddir = os.path.join(path_in, files)  # 原來的檔案路徑
        if os.path.isdir(Olddir):  # 如果是資料夾則跳過
            continue
        filename = os.path.splitext(files)[0]  # 檔名
        filetype = os.path.splitext(files)[1]  # 副檔名
        str_count = str(count)  #轉化為string型
        add_zero = name_long - len(str_count)   #計算需要補的0數
        while add_zero > 0:
            str_count = '0' + str_count
            add_zero -= 1
        Newdir = os.path.join(path_out, str_count + filetype)  # 新的檔案路徑
        os.rename(Olddir, Newdir)  # 重新命名
        count += 1

name_long = 6   #檔名的總長度
rename(name_long)

如果有同學想從視訊裡獲得一幀一幀分割好的,正確序號名稱的圖片,可以參考我寫的以下程式碼
# work with opencv in linux
import cv2
import os

video_path = '/media/Ubuntu/Jetson/WYZ/messing/turtle_boot.mp4'
save_path = '/media/Ubuntu/Jetson/WYZ/messing/imageSave/'
name_length = 6   

capture = cv2.VideoCapture(video_path)
#cv2.namedWindow("Video")
ret, frame = capture.read()
num_picture = 0

while ret:
    #cv2.imshow("Video", frame)
    #cv2.waitKey(1)
    num_picture_str = str(num_picture)
    add_zero = name_length - len(num_picture_str)
    while add_zero > 0:
        num_picture_str = '0' + num_picture_str
        add_zero -= 1
    final_path = save_path + num_picture_str + '.jpg'
    print(final_path)
    cv2.imwrite(final_path, frame)
    num_picture += 1
    ret, frame = capture.read()

2.畫目標包圍框

將圖片中所框的目標資訊儲存起來,我的是儲存到txt裡,如下:
  1. 000002.jpg car 44 28 132 121  
  2. 000003.jpg car 54 19 243 178  
  3. 000004.jpg car 168 6 298 164  
注: "car"是後來進行替換的,之前已有一個字母 前面是圖片名,中間是目標類別,最後是目標的包圍框座標(左上角和右下角座標)。 打框的程式碼(c++)我封裝成了dll,下載地址:影象標註VS2013專案 (我的環境是win7vs2013旗艦版,win8 win10好像不能執行)
或者下這個EXE版本的(win7下用cmd執行,win8 win10可能執行不了):影象標註EXE 注:博主電腦是win10系統,確實無法執行,後來再win7系統上實現的。當時還報了一個錯誤,百度一下,下載一個東西安裝上就可以使用了,相信聰明的大家肯定沒問題。
2016-10-18: 上面標註的程式碼使用的是別人封裝的opencv動態庫,現在修改為opencv2.4.10,64位,vs2013,按網上教程配置好opencv,資源地址: 上面的程式碼好像忘寫操作說明了,這裡寫一下: (1)圖片顯示出來後,輸入法切換到英文; (2)在目標的左上角按下滑鼠左鍵,拉一個包圍框到目標右下角,然後鍵盤輸入標籤(一個字元) (3)繼續(2)操作,直到框完該張圖片上的目標; (4)按n進入下一張,esc退出。 注意:標籤只能輸入一個字元,你可以在生成的txt檔案中替換成你實際的標籤。

3.做xml

將第2步得到的txt轉成xml。 如果每張圖片有一個或多個包圍框,可參考程式碼:VOC2007xml(這份程式碼生成的xml訓練Matlab版本的FRCNN可能會出錯,最好用下面修改過的) 這份程式碼生成的xml第一行含有版本和編碼資訊:<?xml version="1.0" encoding="utf-8"?>,並且含有空格,用來訓練Faster RCNN可能會有問題,如下:
           (左邊是VOC2007資料集中的xml,右邊是上面程式碼生成的xml(第一行我刪掉了),用Notepad開啟就可以看到) VOC2007中的xml前面是tab字元(左邊那些箭頭),上面程式碼生成的xml是空格(那些小黃點),所以,必須將空格轉換成tab,下載修改過的程式碼VOC2007xml_new (下載VOC2007xml_new就可以了,不用下載VOC2007xml,不過如果xml用作其他用途還是可以的) 最終,得到的xml就和VOC一樣。 2016-11-24: 上面做xml的程式碼請下載修改過的程式碼!!!因為第一份程式碼帶有<?xml version="1.0" encoding="utf-8"?>以及空格,訓練會出錯的!!!本來想把第一份程式碼刪掉的,但是csdn好像沒法刪資源啊!!! 程式碼是Matlab(2014b)寫的,沒怎麼優化,當時想的就是功能能實現就行。 另外,如果同一幅圖上有多個目標,儲存在txt檔案中的包圍框資訊需要連續存放。

4.儲存xml到Annotations

新建一個資料夾,名字為Annotations,將xml檔案全部放到該資料夾裡。

5.將訓練圖片放到JPEGImages

新建一個資料夾,名字為JPEGImages,將所有的訓練圖片放到該資料夾裡。

6.ImageSets\Main裡的四個txt檔案

新建資料夾,命名為ImageSets,在ImageSets裡再新建資料夾,命名為Main。 我們可以通過xml名字(或圖片名),生成四個txt檔案,即:
txt檔案中的內容為:
  1. 000005  
  2. 000027  
  3. 000028  
  4. 000033  
  5. 000042  
  6. 000045  
  7. 000048  
  8. 000058  

即圖片名字(無後綴),test.txt是測試集,train.txt是訓練集,val.txt是驗證集,trainval.txt是訓練和驗證集.VOC2007中,trainval大概是整個資料集的50%,test也大概是整個資料集的50%;train大概是trainval的50%,val大概是trainval的50%。可參考以下程式碼:
  1. %%  
  2. %該程式碼根據已生成的xml,製作VOC2007資料集中的trainval.txt;train.txt;test.txt和val.txt  
  3. %trainval佔總資料集的50%,test佔總資料集的50%;train佔trainval的50%,val佔trainval的50%;  
  4. %上面所佔百分比可根據自己的資料集修改,如果資料集比較少,test和val可少一些  
  5. %%  
  6. %注意修改下面四個值  
  7. xmlfilepath='E:\Annotations';  
  8. txtsavepath='E:\ImageSets\Main\';  
  9. trainval_percent=0.5;%trainval佔整個資料集的百分比,剩下部分就是test所佔百分比  
  10. train_percent=0.5;%train佔trainval的百分比,剩下部分就是val所佔百分比  
  11. %%  
  12. xmlfile=dir(xmlfilepath);  
  13. numOfxml=length(xmlfile)-2;%減去.和..  總的資料集大小  
  14. trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));  
  15. test=sort(setdiff(1:numOfxml,trainval));  
  16. trainvalsize=length(trainval);%trainval的大小  
  17. train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));  
  18. val=sort(setdiff(trainval,train));  
  19. ftrainval=fopen([txtsavepath 'trainval.txt'],'w');  
  20. ftest=fopen([txtsavepath 'test.txt'],'w');  
  21. ftrain=fopen([txtsavepath 'train.txt'],'w');  
  22. fval=fopen([txtsavepath 'val.txt'],'w');  
  23. for i=1:numOfxml  
  24.     if ismember(i,trainval)  
  25.         fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));  
  26.         if ismember(i,train)  
  27.             fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));  
  28.         else  
  29.             fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));  
  30.         end  
  31.     else  
  32.         fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));  
  33.     end  
  34. end  
  35. fclose(ftrainval);  
  36. fclose(ftrain);  
  37. fclose(fval);  
  38. fclose(ftest);  
注:不知道為什麼,博主此處執行程式生成的四個資料夾名字為"Maintest.txt","Mainval.txt","Maintrainval.txt","Maintrain.txt", 需要去掉Main才能順利執行。 這四個txt放在ImageSets\Main中。 這樣,資料集就基本做好了。然後新建資料夾,名字為logos(第0步確定的名字),將上面三個資料夾放到這裡,即logos資料夾裡有三個資料夾: 將logos資料夾拷貝到datasets\VOCdevkit2007裡就可以了。 (或者替換voc2007資料集中的Annotations、ImageSets和JPEGImages,免去一些訓練的修改) 注:博主這裡是直接替換