製作VOC2007格式資料集用於Faster-RCNN訓練
阿新 • • 發佈:2019-02-17
轉自http://blog.csdn.net/sinat_30071459/article/details/50723212,自己加入了自己製作資料集時遇到的一些問題,和想法
首先錄一段想製作成資料集的目標的視訊,截成一幀一幀的圖片,作為資料集的原材料。
0.資料夾名
首先,確定你的資料集所放的資料夾名字,例如我的叫logos。
(或者和voc2007一樣的名字:VOC2007)
1.圖片命名
雖然說圖片名對訓練沒什麼影響,但建議還是按VOC2007那樣,如“000005.jpg”這種形式。至於圖片格式,程式碼裡是寫的jpg。 批量修改圖片名字為VOC2007格式可以參考以下Matlab程式碼:- %%
-
%圖片儲存路徑為:
- %E:\image\car
- %E:\image\person
- %car和person是儲存車和行人的資料夾
- %這些資料夾還可以有多個,
- %放在image資料夾裡就行
- %該程式碼的作用是將圖片名字改成000123.jpg這種形式
- %%
- clc;
- clear;
- maindir='E:\image\';
- name_long=5; %圖片名字的長度,如000123.jpg為6,最多9位,可修改
- num_begin=1; %影象命名開始的數字如000123.jpg開始的話就是123
- subdir = dir(maindir);
- n=1;
-
for i = 1:length(subdir)
- if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..')
- subsubdir = dir(strcat(maindir,subdir(i).name));
- for j=1:length(subsubdir)
- if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..')
-
img=imread([maindir,subdir(i).name,'\',subsubdir(j).name]);
- imshow(img);
- str=num2str(num_begin,'%09d');
- newname=strcat(str,'.jpg');
- newname=newname(end-(name_long+3):end);
- system(['rename ' [maindir,subdir(i).name,'\',subsubdir(j).name] ' ' newname]);
- num_begin=num_begin+1;
- fprintf('當前處理資料夾%s',subdir(i).name);
- fprintf('已經處理%d張圖片\n',n);
- n=n+1;
- pause(0.1);%可以將暫停去掉
- end
- end
- end
- end
- imwrite(img,strcat(save_path,newname));%改名後儲存到另一資料夾,原圖片不變
import os
def rename(name_long):
count = 0
path_in = 'D:\\messing\\test' #需要進行編號的圖片儲存資料夾
path_out = 'D:\\messing\\test\\finish' #編號後的圖片儲存位置
filelist = os.listdir(path_in) # 該資料夾下所有的檔案(包括資料夾)
for files in filelist: # 遍歷所有檔案
Olddir = os.path.join(path_in, files) # 原來的檔案路徑
if os.path.isdir(Olddir): # 如果是資料夾則跳過
continue
filename = os.path.splitext(files)[0] # 檔名
filetype = os.path.splitext(files)[1] # 副檔名
str_count = str(count) #轉化為string型
add_zero = name_long - len(str_count) #計算需要補的0數
while add_zero > 0:
str_count = '0' + str_count
add_zero -= 1
Newdir = os.path.join(path_out, str_count + filetype) # 新的檔案路徑
os.rename(Olddir, Newdir) # 重新命名
count += 1
name_long = 6 #檔名的總長度
rename(name_long)
如果有同學想從視訊裡獲得一幀一幀分割好的,正確序號名稱的圖片,可以參考我寫的以下程式碼
# work with opencv in linux
import cv2
import os
video_path = '/media/Ubuntu/Jetson/WYZ/messing/turtle_boot.mp4'
save_path = '/media/Ubuntu/Jetson/WYZ/messing/imageSave/'
name_length = 6
capture = cv2.VideoCapture(video_path)
#cv2.namedWindow("Video")
ret, frame = capture.read()
num_picture = 0
while ret:
#cv2.imshow("Video", frame)
#cv2.waitKey(1)
num_picture_str = str(num_picture)
add_zero = name_length - len(num_picture_str)
while add_zero > 0:
num_picture_str = '0' + num_picture_str
add_zero -= 1
final_path = save_path + num_picture_str + '.jpg'
print(final_path)
cv2.imwrite(final_path, frame)
num_picture += 1
ret, frame = capture.read()
2.畫目標包圍框
將圖片中所框的目標資訊儲存起來,我的是儲存到txt裡,如下:- 000002.jpg car 44 28 132 121
- 000003.jpg car 54 19 243 178
- 000004.jpg car 168 6 298 164
或者下這個EXE版本的(win7下用cmd執行,win8 win10可能執行不了):影象標註EXE 注:博主電腦是win10系統,確實無法執行,後來再win7系統上實現的。當時還報了一個錯誤,百度一下,下載一個東西安裝上就可以使用了,相信聰明的大家肯定沒問題。
2016-10-18: 上面標註的程式碼使用的是別人封裝的opencv動態庫,現在修改為opencv2.4.10,64位,vs2013,按網上教程配置好opencv,資源地址: 上面的程式碼好像忘寫操作說明了,這裡寫一下: (1)圖片顯示出來後,輸入法切換到英文; (2)在目標的左上角按下滑鼠左鍵,拉一個包圍框到目標右下角,然後鍵盤輸入標籤(一個字元) (3)繼續(2)操作,直到框完該張圖片上的目標; (4)按n進入下一張,esc退出。 注意:標籤只能輸入一個字元,你可以在生成的txt檔案中替換成你實際的標籤。
3.做xml
將第2步得到的txt轉成xml。 如果每張圖片有一個或多個包圍框,可參考程式碼:VOC2007xml(這份程式碼生成的xml訓練Matlab版本的FRCNN可能會出錯,最好用下面修改過的) 這份程式碼生成的xml第一行含有版本和編碼資訊:<?xml version="1.0" encoding="utf-8"?>,並且含有空格,用來訓練Faster RCNN可能會有問題,如下:(左邊是VOC2007資料集中的xml,右邊是上面程式碼生成的xml(第一行我刪掉了),用Notepad開啟就可以看到) VOC2007中的xml前面是tab字元(左邊那些箭頭),上面程式碼生成的xml是空格(那些小黃點),所以,必須將空格轉換成tab,下載修改過的程式碼:VOC2007xml_new (下載VOC2007xml_new就可以了,不用下載VOC2007xml,不過如果xml用作其他用途還是可以的) 最終,得到的xml就和VOC一樣。 2016-11-24: 上面做xml的程式碼請下載修改過的程式碼!!!因為第一份程式碼帶有<?xml version="1.0" encoding="utf-8"?>以及空格,訓練會出錯的!!!本來想把第一份程式碼刪掉的,但是csdn好像沒法刪資源啊!!! 程式碼是Matlab(2014b)寫的,沒怎麼優化,當時想的就是功能能實現就行。 另外,如果同一幅圖上有多個目標,儲存在txt檔案中的包圍框資訊需要連續存放。
4.儲存xml到Annotations
新建一個資料夾,名字為Annotations,將xml檔案全部放到該資料夾裡。5.將訓練圖片放到JPEGImages
新建一個資料夾,名字為JPEGImages,將所有的訓練圖片放到該資料夾裡。6.ImageSets\Main裡的四個txt檔案
新建資料夾,命名為ImageSets,在ImageSets裡再新建資料夾,命名為Main。 我們可以通過xml名字(或圖片名),生成四個txt檔案,即:txt檔案中的內容為:
- 000005
- 000027
- 000028
- 000033
- 000042
- 000045
- 000048
- 000058
即圖片名字(無後綴),test.txt是測試集,train.txt是訓練集,val.txt是驗證集,trainval.txt是訓練和驗證集.VOC2007中,trainval大概是整個資料集的50%,test也大概是整個資料集的50%;train大概是trainval的50%,val大概是trainval的50%。可參考以下程式碼:
- %%
- %該程式碼根據已生成的xml,製作VOC2007資料集中的trainval.txt;train.txt;test.txt和val.txt
- %trainval佔總資料集的50%,test佔總資料集的50%;train佔trainval的50%,val佔trainval的50%;
- %上面所佔百分比可根據自己的資料集修改,如果資料集比較少,test和val可少一些
- %%
- %注意修改下面四個值
- xmlfilepath='E:\Annotations';
- txtsavepath='E:\ImageSets\Main\';
- trainval_percent=0.5;%trainval佔整個資料集的百分比,剩下部分就是test所佔百分比
- train_percent=0.5;%train佔trainval的百分比,剩下部分就是val所佔百分比
- %%
- xmlfile=dir(xmlfilepath);
- numOfxml=length(xmlfile)-2;%減去.和.. 總的資料集大小
- trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));
- test=sort(setdiff(1:numOfxml,trainval));
- trainvalsize=length(trainval);%trainval的大小
- train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));
- val=sort(setdiff(trainval,train));
- ftrainval=fopen([txtsavepath 'trainval.txt'],'w');
- ftest=fopen([txtsavepath 'test.txt'],'w');
- ftrain=fopen([txtsavepath 'train.txt'],'w');
- fval=fopen([txtsavepath 'val.txt'],'w');
- for i=1:numOfxml
- if ismember(i,trainval)
- fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));
- if ismember(i,train)
- fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));
- else
- fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));
- end
- else
- fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));
- end
- end
- fclose(ftrainval);
- fclose(ftrain);
- fclose(fval);
- fclose(ftest);