驗證性試驗：yolov3訓練coco資料集
Yolov3 中作者列出了使用coco資料集訓練的資料結果，其中顯示在輸入圖片大小為416x416的時候，模型的mAP大小為31%，當輸入圖片大小為608x608的時候，模型的mAP達到33%，論文中結果截圖如下：
我們做了個實驗，目的是驗證當我們自己訓練的時候能否達到論文中的給出的結果，判斷我們平時訓練的方法是否有問題。
這裡使用了3塊TITAN X顯示卡進行實驗，batch設定為128，subdivision為32，其他max_batches沒有改，按原來的設為500200，其他的不變。計算mAP使用的是cocoAPI（估計作者也是用的這個，使用detector valid這個命令可以直接將測試結果生成為cocoAPI所需要的json格式，thresh設定為0.001）
1、前期訓練：
./darknet detector train cfg/coco.data cfg/yolov3.cfg darknet53.conv.74 -gpus 0,1,2 | tee -a yolov3-coco-log.txt
PS: 儲存log會拖慢訓練的速度
然後提取log中的loss，解析並畫出loss的曲線，曲線如下：
可以看到訓練到後面的時候loss 基本就不在降低了，但是模型的mAP 只有25左右，遠遠還沒達到論文中寫的31%
2、不儲存log，邊訓練邊測試mAP
測試的結果如下：
| Steps | AP | AP50 | AP75 | APS |
APM | APL |
| 105700 | 26 | 50.1 | 24.8 | 9.3 | 27.3 | 40.5 |
| 120000 | 26.7 | 50 | 26.6 | 9.9 | 28 | 41.3 |
| 123000 | 26.4 | 50.3 | 25.4 | 9.3 | 28 | 40.5 |
| 126000 | 26.9 | 50.7 | 26.3 | 10 | 28.8 | 41.3 |
| 129000 | 26.1 | 49.3 | 25.2 | 9.6 | 28 | 39.7 |
| 132000 | 26.7 | 50.5 | 25.8 | 10.6 | 28.7 |
39.9 |
| 135000 | 26.6 | 50.8 | 25.4 | 9.8 | 28 | 41.3 |
| 136600 | 25.8 | 48.5 | 24.9 | 8.9 | 27.8 | 40.1 |
| 139300 | 26.8 | 50.7 | 25.9 | 9.9 | 28.7 | 41.8 |
| 139500 | 26.6 | 50.2 | 25.8 | 10 | 27.5 | 42.3 |
| 141000 | 27.2 | 50.9 | 26.8 | 10.7 | 28.6 | 42 |
| 144500 | 26.2 | 51.5 | 24.2 | 11 | 28.5 | 39.1 |
| 148500 | 27.1 | 51.1 | 26.3 | 10.2 | 29.1 | 41.4 |
| 152500 | 26.7 | 49.8 | 26 | 10.4 | 27.2 | 42.5 |
| 156500 | 26.9 | 50.8 | 25.8 | 10.4 | 27.8 | 42.2 |
| 160500 | 26.7 | 49.9 | 26.3 | 9.8 | 28.1 | 42 |
| 164500 | 27.3 | 51.3 | 26.9 | 10.3 | 29.7 | 41.2 |
| 168500 | 27.7 | 51.4 | 27.7 | 10.4 | 30.1 | 41.5 |
| 172500 | 27.7 | 51.3 | 27.5 | 10.7 | 29.7 | 42.2 |
| 176500 | 27.3 | 51.7 | 26.6 | 10.5 | 30 | 41 |
| 180500 | 27.5 | 51.6 | 26.7 | 10.3 | 29.5 | 42.4 |
| 184500 | 27.9 | 51.2 | 27.5 | 9.9 | 30.2 | 42.9 |
| 188500 | 26.9 | 50.5 | 26.2 | 10 | 28.8 | 40.9 |
| 192500 | 28 | 52.2 | 27.5 | 11 | 29.4 | 42.1 |
| 196500 | 26.9 | 50.2 | 26.2 | 10.5 | 29.4 | 40.5 |
| 200500 | 27.1 | 50.7 | 27 | 9.9 | 29.8 | 41.1 |
| 204500 | 27.4 | 51.8 | 26.7 | 10.4 | 29.4 | 41.7 |
| 208500 | 27.1 | 50.5 | 26.2 | 10.7 | 28.9 | 41.8 |
| 212500 | 26.9 | 51.5 | 26 | 11 | 28.8 | 40.8 |
| 216500 | 28 | 51.5 | 28.1 | 10.9 | 30.1 | 41.7 |
| 220500 | 27.3 | 50.2 | 27 | 10.2 | 29.9 | 41.7 |
| 224500 | 27.6 | 51.8 | 27.2 | 11 | 30.1 | 41.9 |
| 228500 | 28.4 | 52.2 | 28.1 | 10.7 | 31 | 43.1 |
| 232500 | 27.8 | 51.4 | 27.6 | 10.8 | 30.4 | 41.8 |
| 236500 | 28.3 | 52.1 | 28.2 | 11.2 | 30.8 | 42.6 |
| 240500 | 28.1 | 51.1 | 28.1 | 11 | 30.8 | 42.3 |
| 244500 | 27 | 50.2 | 26.7 | 10 | 29.2 | 41.4 |
| 248500 | 27.9 | 52.2 | 27.3 | 11.4 | 29.3 | 42.4 |
| 252500 | 27.4 | 52.1 | 26.3 | 11.3 | 30 | 41.3 |
| 256500 | 27.9 | 52.1 | 27.6 | 9.8 | 29.1 | 44.8 |
| 262500 | 28.2 | 51.5 | 28.4 | 11.1 | 30.9 | 43.1 |
| 266500 | 28.3 | 52.2 | 27.8 | 11.2 | 30.2 | 43.6 |
| 270500 | 28.5 | 52.1 | 28.5 | 11.6 | 30.5 | 43.2 |
| 274500 | 27.9 | 51.4 | 27.6 | 11.1 | 29.3 | 43.4 |
| 278500 | 28.7 | 51.9 | 29 | 10.9 | 31.4 | 43.4 |
| 282500 | 27.7 | 51.2 | 27.2 | 11 | 30.2 | 42.1 |
| 286500 | 29 | 52.4 | 29.3 | 11.4 | 31 | 44.3 |
| 290500 | 28.1 | 51.5 | 27.6 | 11.2 | 30.7 | 43.2 |
| 294500 | 28.6 | 52.6 | 28.7 | 12.2 | 30.9 | 42.4 |
| 298500 | 27.5 | 50.8 | 27.1 | 10.6 | 30.2 | 41.8 |
| 302500 | 28.6 | 52 | 28.7 | 12.2 | 30.8 | 42.8 |
| 306500 | 28.2 | 51 | 28.6 | 11.2 | 30.7 | 42.6 |
| 310500 | 28.1 | 52.5 | 27.8 | 11.3 | 30.5 | 42.7 |
| 314500 | 28.6 | 52.5 | 28.3 | 11.9 | 30.7 | 44.1 |
| 317500 | 28.1 | 51.4 | 28.2 | 11.4 | 30.5 | 42.5 |
| 323500 | 28.7 | 51.9 | 29.1 | 11.8 | 31.3 | 43.6 |
| 326500 | 27.3 | 50.5 | 27.5 | 10.6 | 30.2 | 41.3 |
| 329500 | 28.9 | 52 | 29.3 | 11.3 | 30.6 | 45.1 |
| 332500 | 29 | 52.8 | 29.2 | 11.1 | 31.2 | 44.6 |
| 335500 | 28.6 | 52 | 29 | 10.9 | 31.8 | 43.6 |
| 338500 | 28.9 | 53.1 | 28.9 | 12.2 | 30.8 | 44.1 |
| 341500 | 28.9 | 52.2 | 29 | 11 | 30.9 | 44.3 |
| 344500 | 29.6 | 53 | 30 | 11.9 | 32.1 | 44.1 |
| 347000 | 28.6 | 52.8 | 28.2 | 10.8 | 31.5 | 43.9 |
| 351000 | 28.6 | 52 | 28.9 | 11.2 | 31.3 | 43.4 |
| 355000 | 28.7 | 53.2 | 28.1 | 11.6 | 30.4 | 43.4 |
| 359000 | 29.3 | 53.3 | 29.3 | 13 | 30.8 | 44 |
| 363000 | 28.1 | 51.3 | 27.8 | 11.1 | 30.2 | 42.5 |
| 367000 | 29.5 | 52.6 | 29.9 | 11.7 | 31.7 | 44.1 |
| 369500 | 28.7 | 52.8 | 28.8 | 11.3 | 31.7 | 43.4 |
| 372500 | 28 | 50.6 | 28.5 | 9.8 | 31.1 | 43.5 |
| 375500 | 28.8 | 52.2 | 29.3 | 12.3 | 31.2 | 43.2 |
| 378500 | 29.2 | 53.1 | 29.4 | 11.9 | 31 | 44.4 |
| 381500 | 28.1 | 50.8 | 28.3 | 10.9 | 30.8 | 42.2 |
| 384500 | 28.8 | 52.8 | 28.9 | 11.4 | 31.7 | 43.1 |
| 387500 | 28.1 | 52.8 | 28.2 | 11.5 | 31.6 | 41.1 |
| 390500 | 29.4 | 52.6 | 30 | 11 | 32.1 | 45 |
| 393500 | 29.1 | 52.6 | 29.3 | 11.5 | 31.5 |
相關推薦驗證性試驗：yolov3訓練coco資料集Yolov3 中作者列出了使用coco資料集訓練的資料結果，其中顯示在輸入圖片大小為416x416的時候，模型的mAP大小為31%，當輸入圖片大小為608x608的時候，模型的mAP達到33%，論文中結果截圖如下： 我們做了個實驗，目的是驗證當我們自己訓練的時候 yolov3 訓練coco資料（cuda8.0-gxt1080）1. train遇到這個問題：已放棄Resizing 608 CUDA Error: out of memory darknet: ./src/cuda.c:36: check_error: Assertion `0' failed.百度的說法是gpu架構和作者預設使用的不一 yolov3訓練自己資料集可參考文章參考部落格原址： https://blog.csdn.net/u012966194/article/details/80004647 這篇文章將介紹編譯darknet框架開始，到整理資料集，到用yolo網路實現一個內部資料集中號碼簿的定 Yolov3訓練自己資料集+資料分析訓練自己到資料集已經在上一篇文中說明過了，這一篇著重記錄一下資料分析過程 資料分析 1. mAP值計算 1)訓練完成後，執行darknet官方程式碼中到 detector valid 命令，生成對測試集到檢測結果，命令如下： ./darknet detector va 【YOLO初探】之 keras-yolov3訓練自己資料集寫在前面 如何使用官方資料集參看上一篇文章《【YOLO初探】之 使用官方資料集做目標分類》 傳送門：https://blog.csdn.net/plSong_CSDN/article/details/85108256 這裡，筆者使用了260張訓練資料，完成了人臉中“眼睛”、“鼻子”、“嘴 用YOLOv3訓練WIDER_FACE資料集- 剛開始想訓練的時候忘了百度一下沒有沒可以直接轉換的指令碼。。。就自己寫了。。。- 後來發現網上的轉換指令碼基本都是把 WIDER_FACE先轉換成VOC再用yolo提供的準換工具，轉成yolo所需格式。。。- 自己寫的是直接轉成yolo所需的格式的，版本python3.6 win10 下的YOLOv3 訓練 wider_face 資料集檢測人臉1、資料集下載 （1）wider_face 資料集網址為 http://shuoyang1213.me/WIDERFACE/index.html 下載以上幾項檔案（這裡推薦 google Drive 百度雲在沒有會員的情況下，下載太慢） （2）將檔案解壓到各自獨立的資料夾 世上最詳細，使用Darknet：Yolov3訓練資料這篇文章是markdown的碼，看下一篇文章裡面格式正確：我發現有三篇博文寫的不錯，貼給大家：https://blog.csdn.net/lilai619/article/details/79695109https://blog.csdn.net/hrsstudy/artic YOLOV3 COCO資料集訓練出錯./src/network.c:402: resize_network: Assertion `0' faileddiff --git a/src/network.c b/src/network.cindex aaab799..ad3b71a 100644--- a/src/ 基於keras的YOLOv3在VOC資料集上訓練測試一、編譯環境 windows7 Anaconda+python3.6+keras+tensroflow+pyCharm 二、步驟 測試 從上文第二個github上下載工程，並用 使用coco資料集，faster rcnn類方法訓練出錯解決問題：在caffe框架下，使用coco資料集進行faster rcnn類方法訓練，得到如下錯誤： File "/data/zn/light_head_rcnn/script/py-RFCN-priv/tools/../lib/rpn/anchor_target_layer. Faster-R-CNN（Python）.2：COCO資料集annotation內容[{"supercategory": "person", "id": 1, "name": "person"}, {"supercategory": "vehicle", "id": 2, "name": "bicycle"}, {"superca YOLOv3在訓練自己資料集時的速度慢問題YOLOv3以速度快著稱，但是在訓練自己的資料集時發現儘管在命令中同時開啟了多塊gpu，但速度仍舊很慢。按照其他人的訓練日誌可以看出64batch的單gpu訓練，每次迭代大約需要不到1秒但是自己在訓練時卻需要好幾個小時，首先想到的是自己的資料集是否圖片解析度太高，比較之後發現 ML之分類預測之ElasticNet之PLoR：在二分類資料集上呼叫Glmnet庫訓練PLoR模型(T2)ML之分類預測之ElasticNet之PLoR：在二分類資料集上呼叫Glmnet庫訓練PLoR模型(T2) 輸出結果 設計思路 核心程式碼 for iStep in range( 深度學習實踐經驗：用Faster R-CNN訓練Caltech資料集——訓練檢測前言 前面已經介紹瞭如何準備資料集，以及如何修改資料集讀寫介面來操作資料集，接下來我來說明一下怎麼來訓練網路和之後的檢測過程。 修改模型檔案 faster rcnn有兩種各種訓練方式: Alternative training(alt-opt) DL之NN：NN演算法(本地資料集50000張訓練集圖片)進階優化之三種引數改進，進一步提高手寫數字圖片識別的準確率首先，改變之一：先在初始化權重的部分，採取一種更為好的隨機初始化方法，我們依舊保持正態分佈的均值不變，只對標準差進行改動，初始化權重改變前， def large_weight_initializer(self): self.biases = [np.ran Yolov3程式碼分析與訓練自己資料集現在要針對我們需求引入檢測模型，只檢測人物，然後是影象能側立，這樣人物在裡面佔比更多，也更清晰，也不需要檢測人佔比小的情況，如下是針對這個需求，用的yolov3-tiny模型訓練後的效果。 Yolov3模型網上也講爛了，但是總感覺不看程式碼，不清楚具體實現看講解總是不清晰，在這分 COCO資料集的標註格式COCO的 全稱是Common Objects in COntext，是微軟團隊提供的一個可以用來進行影象識別的資料集。MS COCO資料集中的影象分為訓練、驗證和測試集。COCO通過在Flickr上搜索80個物件類別和各種場景型別來收集影象，其使用了亞馬遜的Mechanical Tu 處理coco資料集-語義分割PythonAPI/cocoSegmentationToPngDemo.py函式是用來做語義分割的，參考這裡https://blog.csdn.net/qq_33000225/article/details/78985635?utm_source=blogxgwz2 由於我用的是2017資料 【MNIST/Python】手寫體數字訓練/測試資料集(圖片格式)下載及分割預處理MNIST手寫體數字資料集 MNIST是一個手寫數字資料庫，它有60000個訓練樣本集和10000個測試樣本集 由Yann LeCun等人建立，是NIST資料庫的一個子集 官方網址連結：Link 官網上的資料庫檔案形式如下： train-images-idx3-ubyte. |