2. 程式人生 > >Pytorch實現的語義分割器

Pytorch實現的語義分割器

阿新 • • 發佈：2018-05-07
獲取 發生 文件夾 rect OS 取消 方法安裝 tools 問題

技術分享圖片

使用Detectron預訓練權重輸出 *e2e_mask_rcnn-R-101-FPN_2x* 的示例

技術分享圖片

從Detectron輸出的相關示例

技術分享圖片

使用Detectron預訓練權重輸出 *e2e_keypoint_rcnn-R-50-FPN_s1x*的示例

這個代碼是按照Detectron的安裝架構來實現的，僅支持部分功能性，你可以通過點擊此鏈接來獲取更多相關信息。

通過這個代碼，你可以……

  1. 根據草圖訓練模型；

  2. 通過使用Detectron中得到預訓練權重(*.pk)來進行推斷；

這個儲存器最早是建在jwyang/faster-rcnn.pytorch上的，但是經過多次的修改，這個結構已經變了很多了而且現在更類似於Detectron。為了直接從正式的預訓練權重文件中重新得到結果，我刻意將所有東西弄得和Detectron的運行方法相似或者一致了。

這個工具有以下特征：

  • 這個完全是Pytorch代碼，當然了，也有一些CUDA代碼。

  • 它支持多圖像的批處理加工訓練。

  • 它支持多GPUs 訓練。

  • 它支持三種合並方法，但是需要註意的是只有roi align能被改進去匹配 Caffe2的安裝。所以，盡管去用就好了。

  • 它可以高效利用內存。對於數據的批處理，這兒有兩種可選擇的技術去減少顯存使用量：1）根據類別分組：同批次的一組圖像是有相似的類別比率 2)根據類別剪裁：剪裁圖像太長了。 類別分組是在Detectron運行，所以用來默認，類別剪裁是來自jwyang/faster-rcnn.pytorch，所以它不能用來默認。

除此之外，我提供一個定制化的模型nn.DataParallel ，它能夠使不同批次混亂的型號出現在不同的繪圖處理器上。你可以在My nn.DataParallel 這節找到更多關於這個的詳細內容。

支持的網絡模型

  • 主要架構：

ResNet series: ResNet50_conv4_body, ResNet50_conv5_body, ResNet101_Conv4_Body, ResNet101_Conv5_Body, ResNet152_Conv5_Body

FPN: fpn_ResNet50_conv5_body, fpn_ResNet50_conv5_P2only_body, fpn_ResNet101_conv5_body,fpn_ResNet101_conv5_P2only_body, fpn_ResNet152_conv5_body, fpn_ResNet152_conv5_P2only_body

  • ResNeXt也被運行了但是還沒有測試。

  • Box head: ResNet_roi_conv5_head, roi_2mlp_head

  • Mask head: mask_rcnn_fcn_head_v0upshare, mask_rcnn_fcn_head_v0up, mask_rcnn_fcn_head_v1up4convs, mask_rcnn_fcn_head_v1up

  • Keypoints head: roi_pose_head_v1convX

註意：這個命名和那個用在Detectron的是相似的。只是刪掉前置的add_，如果有的話。

支持的數據集

現在只有COCO是被支持的。但是，整個數據集庫運行幾乎是和 Detectron的是一樣的，所以用Detectron支持添加更多的數據集是很簡單的。

配置選擇

架構單一明確的配置文件是放在configs下的。 一般的配置文件lib/core/config.py裏所有的選項都基本是和Detectron相同的默認值。所以把架構單一的configs轉化到Detectron是非常輕松的。

怎樣把配置文件從Detectron轉化出來

1. 刪除 MODEL.NUM_CLASSES 。在JsonDataset初賦值過程中被設置。

2. 刪除 TRAIN.WEIGHTS，TRAIN.DATASETS 和TEST.DATASETS。

3. 在模型類型的選擇中，

（比如： MODEL.CONV_BODY，FAST_RCNN.ROI_BOX_HEAD ……） 如果在數串中存在 add_，則將其刪除。

4. 如果想給模型加載更多的ImageNet 預訓練權重，添加指向預訓練權重文件的RESNETS.IMAGENET_PRETRAINED_WEIGHTS 。如果沒有就把MODEL.LOAD_IMAGENET_PRETRAINED_WEIGHTS設置成 False

更多的細節

一些選項是不能使用的因為相關的功能性還沒有實現。但是有一些不能被使用的原因是我用不同方法安裝了程序。

這裏有一些沒有影響但值得註意的選項：

  • SOLVER.LR_POLICY, SOLVER.MAX_ITER, SOLVER.STEPS,SOLVER.LRS ：就目前情況，訓練指令被這些命令行參數控制：

--epochs：要訓練多少 epochs 。一個 epoch意味著要遍歷整個訓練集並且將默認值設為6。

--lr_decay_epochs:每一epochs都是衰減學習率的。 衰減是發生在每個 epoch的開始。 Epoch 是 以0索引開始的，默認值是 [4, 5]。

要獲得更多地命令行參數，請參考python train_net.py --help

  • SOLVER.WARM_UP_ITERS, SOLVER.WARM_UP_FACTOR, SOLVER.WARM_UP_METHOD： 在紙上做預熱訓練Accurate，Large Minibatch SGD：在一小時內訓練 ImageNet 是不能被運行的。

  • OUTPUT_DIR ：使用命令行參數來代替--output_base_dir 去明確化輸出目錄。

當更多地選項被提供：

  • MODEL.LOAD_IMAGENET_PRETRAINED_WEIGHTS = True：是否載入 ImageNet的預訓練權重。

    RESNETS.IMAGENET_PRETRAINED_WEIGHTS = ‘‘：預訓練網絡的權重文件路徑。如果是以 ‘/‘ 開始的，那它就是一個絕對路徑。否則就會被當作是一個和ROOT_DIR相關的路徑。

  • TRAIN.ASPECT_CROPPING = False, TRAIN.ASPECT_HI = 2，TRAIN.ASPECT_LO = 0.：根據類別選項的剪裁去限制圖像類別比率範圍的選項。

  • RPN.OUT_DIM_AS_IN_DIM = True，RPN.OUT_DIM = 512 ，RPN.CLS_ACTIVATION = ‘sigmoid‘ ：RPN的正式運行有相同的輸入和輸出特征通道，它們使用sigmoid作為激活函數作為對fg/bg class類的輸出預測，在jwyang‘s implementation，它把輸出路徑數字確定為512而且使用softmax為激活函數。

我的nn.DataParallel

TBA

開始

克隆這個倉庫：

git clone https://github.com/roytseng-tw/mask-rcnn.pytorch.git

命令

在 python3下測試。

  • python安裝包

pytorch==0.3.1 (cuda80, cudnn7.1.2)

torchvision==0.2.0

numpy

scipy

opencv

pyyaml

pycocotools— COCO數據集專用，也可以通過 pip安裝。

tensorboardX —可以在Tensorboard上記錄losses。

  • 一個 NVIDAI GPU 和 CUDA 8.0 或者更高。一些操作只有gpu 安裝。

  • 註意：不同版本的 Pytorch安裝包有不同的顯存使用量。

編寫

編寫CUDA代碼：

cd lib # please change to this directory

sh make.sh

如果你在使用 Volta GPU, 在lib/mask.sh 文件中取消註釋這一句並且記住在上面這行後打上一個反斜杠。CUDA_PATH 路徑默認為/usr/loca/cuda 。如果你想要在不同路徑下使用CUDA庫，根據實際情況改變這行語句。

這條語句將會編譯你需要的所有模塊，包括NMS、 ROI_Pooing、ROI_Crop 和 ROI_Align模塊。 （事實上GPU NMS模塊從未被使用過...）

特別註意的是，如果你使用CUDA_VISIBLE_DEVICES 來設置GPU，確保在編譯代碼的時候至少有一個GPU可見。

數據準備

在repo下創建一個數據文件夾，

cd {repo_root}

mkdir data

  • COCO：下載coco圖片數據 以及從coco網站上獲得的註釋

確保根據下面的文件結構將文件放置好：

coco

├── 註釋

| ├── instances_minival2014.json

│ ├── instances_train2014.json

│ ├── instances_train2017.json

│ ├── instances_val2014.json

│ ├── instances_val2017.json

│ ├── instances_valminusminival2014.json

│ ├── person_keypoints_train2014.json

│ ├── person_keypoints_train2017.json

│ ├── person_keypoints_val2014.json

│ └── person_keypoints_val2017.json

└── 圖片

├── train2014

├── train2017

├── val2014

└── val2017

下載instances_minival2014.json和instances_valminusminival2014.json的鏈接

隨便將數據集放在任意想放的地方，然後將數據集軟連接到data/ 文件夾下：

ln -s path/to/coco data/coco

推薦將圖片輸入SSD網絡來使訓練效果更加好。

根據我的經驗來看， COCO2014針對相關的圖片數據有一些不同尺寸(h,w)的掩碼註釋。可能 instances_minival2014.jsoninstances_valminusminival2014.json 包含了錯誤的掩碼註釋。然而COCO2017 數據集並沒有這個問題.。據說 COCO train2017數據集 與 (COCO train 2014 + COCO minival 2014)相當 ，並且 COCO test 2017數據集 與COCO valminusminival 2014數據集相當。 因此，使用 COCO 2017 訓練-驗證切分集來重做結果是可以的。

預訓練模型

我使用ImageNet數據在 Caffe中為骨幹網絡預訓練權重。

  • ResNet50,ResNet101,ResNet152

  • VGG16 (vgg骨幹網絡現在還沒有完成)

下載它們並把它們放在 {repo_root}/data/pretrained_model路徑下。

你可以使用下面的命令行語句將它們全部下載下來：

- 額外需要的安裝包：argparse_color_formater, colorama

python tools/download_imagenet_weights.py

註： Caffe的預訓練權重比Pytorch 預訓練的效果要稍好一些。我們使用Caffe 預訓練上面鏈接的模型來重做結果。順便提一點，Detectron（一個開源目標檢測庫）也使用Caffe預訓練得到的權重。

如果你想用pytorch預訓練模型，請記住將圖片數據從BGR矩陣轉化為RGB矩陣，並且也用pytorch預訓練模型過程中相同的數據處理方法（去均值以及標準化）。

訓練

  • 基於res50骨幹網絡從頭開始訓練mask-rcnn網絡

python tools/train_net.py --dataset coco2017 --cfg configs/e2e_mask_rcnn_R-50-C4.yml --use_tfboard --bs {batch_size} --nw {num_workers}

使用 --bs 來將默認的批處理規模 （例如8）改變為適合你GPU的合適值。類似地還有--nw（數據加載線程在config.py中默認為4）。

使用 —use_tfboard 在Tensorboard上展示損失函數的對數值。

  • 在每個訓練期結束的時候，通過完全相同的設置對訓練效果進行概括性展示。

python tools/train_net.py --dataset coco2017 --cfg configs/e2e_mask_rcnn_R-50-C4.yml --resume --load_ckpt {path/to/the/checkpoint} --bs {batch_size}

w/ 和 w/o --resume的區別：如果規定了--resume，優化器狀態將會被從 checkpoint文件中加載下來，否則將不會加載。

  • 訓練 keypoint-rcnn網絡

python tools/train_net.py --dataset keypoints_coco2017 ...

  • Detectron預訓練權重的調整

python train_net.py --dataset coco2017 --cfg cfgs/e2e_mask_rcnn_R-50-C4.yml --load_detectron {path/to/detectron/weight} --bs {batch_size}

註：優化器狀態 (SGD的動量) 沒有被加載(或被實現)。

推斷結果

python tools/infer_simple.py --dataset coco --cfg cfgs/e2e_mask_rcnn_R-50-C4.yml --load_detectron {path/to/detectron/weight} --image_dir {dir/of/input/images} --output_dir {dir/to/save/visualizations}

--output_dir 默認為infer_outputs。

衡量標準

keypoint_rcnn

  • e2e_keypoint_rcnn_R-50-FPN

訓練命令行： python tools/train_net.py --dataset keypoints_coco2017 --cfg configs/e2e_keypoint_rcnn_R-50-FPN.yaml --bs 8

以8張圖片為一個批訓練集，將數據集訓練6個周期，從第5個和第6個訓練周期開始後學習率以0.1倍速衰減。每個周期叠代 (113198 / 8) （向下取整）= 14149次。

數據集: keypoints_coco_2017_val

任務：框定盒

技術分享圖片

任務：關鍵點

表格中的值為Detectron e2e_keypoint_rcnn_R-50-FPN_1x網絡得到的AP值，該網絡以16張圖片為批訓練集叠代訓練90000次，在第60000次和第80000次叠代開始後學習率以0.1倍速衰減。

可視化

從頭開始基於coco_train_2017數據訓練 e2e_mask_rcnn_R-50_C4 網絡，以4張圖片為一批進行處理，訓練了1 個訓練周期：

技術分享圖片技術分享圖片技術分享圖片技術分享圖片

Github原址 https://github.com/roytseng-tw/Detectron.pytorch/blob/master/README.md

Pytorch實現的語義分割器

相關推薦

Pytorch實現的語義分割器

獲取 發生 文件夾 rect OS 取消 方法安裝 tools 問題 使用Detectron預訓練權重輸出 *e2e_mask_rcnn-R-101-FPN_2x* 的示例 從Detectron輸出的相關示例 使用Detectron預訓練權重輸出 *e2e_keypo

使用OpenCv+ENet實現語義分割

介紹 在本教程中，您將學習如何使用OpenCV，深度學習和ENet架構執行語義分割。閱讀本教程後，您將能夠使用OpenCV對影象和視訊應用語義分割。深度學習有助於增加計算機視覺的前所未有的準確性，包括影象分類，物件檢測，現在甚至是分割。傳統分割涉及將影象分割

【語義分割】PSPNet中PSP模組的pytorch實現

github地址：https://github.com/Lextal/pspnet-pytorch/blob/master/pspnet.py PSP模組示意圖如下   程式碼如下 class PSPModule(nn.Module): def __init__(self, f

“你什麽意思”之基於RNN的語義槽填充(Pytorch實現)

入門 pre 驗證 sigma arr str https 控制 AC 1. 概況 1.1 任務 口語理解（Spoken Language Understanding, SLU）作為語音識別與自然語言處理之間的一個新興領域，其目的是為了讓計算機從用戶的講話中理解他們的意圖。

圖像語義分割代碼實現（1）

getcwd classes ner copy imp rec snapshot ini str 谷歌最新語義圖像分割模型 DeepLab-v3+ 現已開源 https://www.oschina.net/news/94257/google-open-sources-pix

pytorch 實現變分自動編碼器

本來以為自動編碼器是很簡單的東西，但是也是看了好多資料仍然不太懂它的原理。先把程式碼記錄下來，有時間好好研究。 這個例子是用MNIST資料集生成為例子。 # -*- coding: utf-8 -*- """ Created on Fri Oct 12 11:42:19 2018 @a

E-net 語義分割實現筆記

今天上午看了一個知乎文章 就想實現個網路，看看效果。文中說E-Net速度還是挺快的，我就找了一些實現方法。 借鑑： 其實這兩個內容一樣，CSDN的有個結果視訊。 這裡面提供程式碼下載。 程式碼下載 這連線程式碼下載比較坑，是要填寫郵箱，然後給你傳送驗證，

“你什麼意思”之基於RNN的語義槽填充(Pytorch實現)

1. 概況 1.1 任務 口語理解（Spoken Language Understanding, SLU）作為語音識別與自然語言處理之間的一個新興領域，其目的是為了讓計算機從使用者的講話中理解他們的意圖。SLU是口語對話系統（Spoken Dialog Systems）的一個非常關鍵的環節。下圖展示了口語對話

斯坦福等機構提出ScanComplete，可實現3D掃描的大規模「場景完成」和「語義分割」

原文來源：arxiv作者：Angela Dai、Daniel Ritchie、Martin Bo

Facebook人工智慧實驗室提出「全景分割」，實現例項分割和語義分割的統一

原文來源：arxiv作者：Alexander Kirillov、Kaiming He1、Ross

通過PyTorch實現對抗自編碼器

「大多數人類和動物學習是無監督學習。如果智慧是一塊蛋糕，無監督學習是蛋糕的坯子，有監督學習是蛋糕上的糖衣，而強化學習則是蛋糕上的櫻桃。我們知道如何做糖衣和櫻桃，但我們不知道如何做蛋糕。」 Facebook 人工智慧研究部門負責人 Yann LeCun 教授在講話中多次提及這一類比。對於無監督學習，他引

影象語義分割程式碼實現（1）

針對《影象語義分割（1）- FCN》介紹的FCN演算法，以官方的程式碼為基礎，在 SIFT-Flow 資料集上做訓練和測試。 介紹瞭如何製作自己的訓練資料 資料準備 1） 首先 clone 官方工程 git clone https://g

深度學習之圖片語義分割程式碼實現

使用tensorflow和python，vgg基礎上實現FCN8s網路，實現圖片語義分割： 資料集：VOC2012/ImageSets/Segmentation中，分為train.txt 1464張圖片和val.txt1449張圖片。 # class classes

使用全卷積神經網路FCN，進行影象語義分割詳解(附程式碼實現)

一.導論 在影象語義分割領域，困擾了電腦科學家很多年的一個問題則是我們如何才能將我們感興趣的物件和不感興趣的物件分別分割開來呢？比如我們有一隻小貓的圖片，怎樣才能夠通過計算機自己對影象進行識別達到將小貓和圖片當中的背景互相分割開來的效果呢？如下圖所示：      而在2015年

SQL Server 實現跨服務器查詢的方式

lol linked server nbsp drop false err dlink pre 幹貨如下： exec sp_addlinkedserver ‘ITSV‘, ‘‘, ‘SQLOLEDB‘, ‘crs.***.com,6598‘ exec sp_addl

Android實現音樂播放器（一）

simple ani call ket 打開文件 界面 方式 .cn 點擊 Graphical User Interface 本篇文章記錄了我實現Android簡單音樂播放器的過程，（一）中介紹了怎麽構建音樂播放器的前端頁面。首先大家看一下，界面最後是這樣的（界面有

tensorflow學習筆記(三)：實現自編碼器

sea start ear var logs cos soft 編碼 red 黃文堅的tensorflow實戰一書中的第四章，講述了tensorflow實現多層感知機。Hiton早年提出過自編碼器的非監督學習算法，書中的代碼給出了一個隱藏層的神經網絡，本人擴展到了多層，改進

網遊同步器+視頻分割器——遊戲工作室神器

遊戲同步器 視頻分割器 本人就讀於一所普通的私立大學，渣渣大學生一名。老實說，我們學校絕大部分同學都是來混個文憑的，玩遊戲倒是成了主課。從簡單的單機遊戲到網絡遊戲，玩得不亦樂乎，後來開始玩dnf。接觸dnf已經4年多了，用過dnf外掛，用了幾個月，沒人帶沒人教，自己摸索，一路上的“苦逼”、一路上

用C語言實現websocket服務器

sockaddr extend ++i set strlen ner ace == perl Websocket Echo Server Demo 背景 嵌入式設備的應用開發大都依靠C語言來完成，我去研究如何用c語言實現websocket服務器也是為了在嵌入式設備中實現一個

委托delegate與Dictionary實現action選擇器

public text dict ret urn ons 沒有 add () 大家一定都有這種情況，1.前臺頁面信息是通過Ajax請求的方法加載的;2.或者是通過請求本頁面加載的;3.請求的頁面不僅僅是一個Http請求在 這咱情況下我們一般會加一個action的參數，用於區