1. 程式人生 > >caffe 使用shell自動生成train.txt & val.txt

caffe 使用shell自動生成train.txt & val.txt

使用自己的資料集“煮caffe”時候需要生成train.txt 和 val.txt。但是,沒有找到一個有效的方法。今天跟大家分享一下使用shell自動生成train.txt 和 val.txt

指令碼沒有容錯性 謹慎使用 勿噴
無原理,看步驟。

1 資料集格式要求

檔案佈局
這樣佈局也是caffe的要求,shell 下邊會貼出來或者→shell指令碼下載地址
這裡寫圖片描述

train中
這裡寫圖片描述

train資料夾下的圖片
這裡寫圖片描述

val中結構
說明: val需要有train一致的結構外,還需要把各個檔案中的圖片,複製到val檔案下。
這裡寫圖片描述

2 Shell 程式碼

filepath2txt.sh

#!/usr/bin/env sh
# 說明 
# dictionary: train{d1{f1,f2,...},d2{f1,f2,...},...} val{d1{f11,f12,...},d2{f21,f22,...},.... f11,f12,.....,f21,f2,...,....}
# train
#    -d1
#       f1.jpeg
#       f2.jpeg
#       f3.jpeg
#       f4.jpeg
#       ....
#    -d2
#       f1.jpeg
#       f2.jpeg
#       f3.jpeg
# f4.jpeg # .... # ... # val # -d1 # -d2 # ... # all images in di need copy to val/ again. rm -f train.txt rm -f val.txt echo "filepath2traintxt" sh ./filepath2traintxt.sh echo "Done" echo "filepath2valtxt" sh ./filepath2valtxt2.sh echo "Done"

filepath2traintxt.sh

#!/usr/bin/env sh
# 深度遍歷 deepls(){ for x in "$1/"* do #echo $x if [ -f $x ] then echo $x $I|cut -d '/' -f3-4 >> $NAME fi if [ -d $x ] then (deepls "$x") I=`expr $I + 1` fi done } I=0 DEST_PATH="./train" NAME="./train.txt" deepls $DEST_PATH

filepath2valtxt2.sh

#!/usr/bin/env sh
# 深度遍歷
deepls(){
    for x in "$1/"*
    do 
        #echo $x
        if [ -f $x ]
        then
            echo $x $I|cut -d '/' -f4-5 >> $NAME
        fi
        # if [ -d $x] error
        done
}
deep(){
    for x in "$1/"*
    do
        if [ -d $x ]
        then
            deepls "$x"
            I=`expr $I + 1`
        fi
    done
}
I=0
DEST_PATH="./val"
NAME="./val.txt"
deep $DEST_PATH

3 結果展示

結果列表

相關推薦

caffe 使用shell自動生成train.txt & val.txt

使用自己的資料集“煮caffe”時候需要生成train.txt 和 val.txt。但是,沒有找到一個有效的方法。今天跟大家分享一下使用shell自動生成train.txt 和 val.txt 指令碼沒有容錯性 謹慎使用 勿噴 無原理,看步驟。

製作PASCAL VOC格式的檢測資料集,生成trainval.txt, train.txt, val.txt, test.txt檔案

import os import random xmlfilepath=r'C:\Users\Yeh Chih-En\Desktop\VOC\Annotations' saveBasePath=r"C:\Users\Yeh Chih-En\Desktop\VOC" trainval

製作PASCAL VOC格式的分割資料集,生成trainval.txt, train.txt, val.txt檔案

import os import random filepath=r'C:\models\research\deeplab\datasets\Headshoulder_dataset\dataset\JPEGImages' saveBasePath=r"C:\models\resear

處理生成VOC的資料格式的test.txt train.txt trainval.txt val.txt 和SSD的imdb資料格式以及ssd的訓練

VOC的資料格式就是在VOC資料夾下:準備三個資料夾 1、 Annotations裡面放標註好的xml檔案使用的這個工具, 參考http://blog.csdn.net/jesse_mx/article/details/53606897。可以直接看部落格最後面,下載最新版,

【轉載】如何自動生成和安裝requirements.txt依賴

生成 構建 文件 自動 file title clas 人的 安裝 如何自動生成和安裝requirements.txt依賴 在查看別人的Python項目時,經常會看到一個requirements.txt文件,裏面記錄了當前程序的所有依賴包及其精確版本號。這個文件有點類似

如何自動生成和安裝requirements.txt依賴

構建 rem 運行環境 人的 require 所有 rail 版本號 構建項目 在查看別人的Python項目時,經常會看到一個requirements.txt文件,裏面記錄了當前程序的所有依賴包及其精確版本號。這個文件有點類似與Rails的Gemfile。其作用是用來在另一

Tree 命令自動生成 目錄樹到txt

使用DOS的[TREE]命令,具體方法如下: [開始]→[所有程式]→[附件]→[DOS命令提示符]→進入DOS介面; [CD/+回車]→返回C:/根目錄; 在C:/下鍵入TREE□X:/目錄名□/F□>ABC.TXT [回車],此時就會在C:/盤的根目錄下生成一個名為

pip自動生成和安裝requirements.txt

生成requirements.txt檔案 pip freeze > requirements.txt 安裝requirements.txt依賴 pip install -r requirem

shell自動生成的檔案有一個問號的字尾

寫了一個指令碼,自動處理一個檔案。   rm -f session.log rm -f link wget ftp://hostname/f:/ddn/session.log egrep '^N[[:digit:]]|^D[1-4]' session.log >>lin

caffe學習筆記(四)--製作自己的資料集train.txtval.txt生成LMDB檔案

在深度學習的實際應用中,我們經常用到的原始資料是圖片檔案,如jpg,png,tif等格式的,而且有可能圖片的大小還不一致。 我今天嘗試製作一個自己的訓練資料集,主要步驟為: 1.用MATLAB截圖得到訓練集的圖片 2.生成標籤檔案列表,即生成 train.

CAFFE之將圖片轉化為lmdb格式指令碼【直接執行版】(內含生成train.txt和test.txt)

標籤: caffe 深度學習 作者:賈金讓 一.指令碼實現的功能 1.將訓練資料集轉化為lmdb格式; 2.將測試資料集轉化為lmdb格式; 3.生成mean.binaryproto檔案。 二.原理簡述 對於使用caffe的人來說,預處

自動數據庫抽取想要的查詢結果,自動生成txt(utf-8)文件,然後自動ftp上傳到外網服務器

txt(utf-8)需求:無人值守的把數據庫中的數據,生成txt文本,自動上傳到ftp服務器,與外部客戶進行數據對接;===============================================步驟:1 寫存儲過程 2 數據庫中建立計劃任務 3 寫轉換txt編碼格式的插件

自動生成不同難度的數學試卷系統,並輸出到txt文件中,命名為當前時間(java)

註意點 文件中 技術 alt 賬號 希望 http 遞歸 重要 前言: 花了一整天時間修修補補寫完代碼,現在寫篇博客,一是希望後來的人有個參考,二是記錄下自己的所獲方便以後查閱,三是趁眾大佬還沒做,混點訪問量 以前做項目都是自己做,這次是真切的體會到了為別人做事多麽麻煩,這

python 項目自動生成requirements.txt文件

leg 包含 ring 類庫 目錄 要求 posit Coding pre 任何應用程序通常需要設置安裝所需並依賴一組類庫來滿足工作要求。要求文件是指定和一次性安裝包的依賴項具體一整套方法。 Python項目依賴,生成requirements.txt 有兩種方法 1、進入需

Python 專案依賴模組管理(自動生成requirements.txt和安裝)

首先,建議初學者每個專案用單獨的env,否則用這種方式收集依賴會把你本地的所有模組版本都匯出來,env的建立,我上一個帖子有。 1. 匯出env中的模組到requirements.txt pip freeze > requirements.txt 2.安裝已有requir

python 專案自動生成requirements.txt檔案

主要使用目的: 任何應用程式通常需要設定安裝所需並依賴一組類庫來滿足工作要求。通過requirements.txt可以一次性安裝程式所需要和依賴的包。 為工程生成requirements.txt和兩種方式: 2.1、freeze方式 直接使用以下命令 pip insta

Caffe學習筆記(二):使用Python生成caffe所需的lmdb檔案和txt列表清單檔案

轉載請註明作者和出處: http://blog.csdn.net/c406495762 Python版本:Python2.7 執行平臺:Ubuntu14.04 最後修改時間:2017.4.20     在上個筆記中,已經學會了如何使用Caffe利用作者

【java 文件讀寫操作】 生成隨機數,寫入txt,然後從txt中讀出

進行 rac 直接 生成隨機數 catch trace buffered 代碼 tac 1.把生成的隨機數寫入到文件中 1 public static void WriterFun(){ 2 //獲得路徑 3 String filep

Python 生成requirement 使用requirements.txt

requirements.txtpython項目中必須包含一個 requirements.txt 文件,用於記錄所有依賴包及其精確的版本號。以便新環境部署。 requirements.txt可以通過pip命令自動生成和安裝 生成requirements.txt文件 pip freeze > requ

Shell 腳本自動生成Crontab

執行 需求 有時 ole 任務計劃 con 名稱 管理 name 1.有時候運維需求自動生成 Cronab 任務計劃,執行對應服務名稱進行管理; #!/bin/bash #athor check crontab crontab_add(){ cron_path=&qu