2. 程式人生 > >圖像語義分割代碼實現（1）

圖像語義分割代碼實現（1）

阿新 • • 發佈：2018-06-23
getcwd classes ner copy imp rec snapshot ini str

谷歌最新語義圖像分割模型 DeepLab-v3+ 現已開源 https://www.oschina.net/news/94257/google-open-sources-pixel-2-portrait-code

https://blog.csdn.net/zizi7/article/details/77163969

針對《圖像語義分割（1）- FCN》介紹的FCN算法，以官方的代碼為基礎，在 SIFT-Flow 數據集上做訓練和測試。

介紹了如何制作自己的訓練數據

數據準備

參考文章《FCN網絡的訓練——以SIFT-Flow 數據集為例》

1） 首先 clone 官方工程

git clone https://github.com/shelhamer/fcn.berkeleyvision.org.git
  • 1

工程是基於 CAFFE 的，所以也需要提前安裝好

2）下載數據集及模型
- 到這裏下載 SIFT-Flow 數據集，解壓縮到 fcn/data/sift-flow/ 下
- 到這裏下載 VGG-16 預訓練模型，移動到 fcn/ilsvrc-nets/ 下
- 參考文章《 FCN模型訓練中遇到的困難》，到這裏下載 VGG_ILSVRC_16_layers_deploy.prototxt
　或者直接 copy 以下內容：

name: "VGG_ILSVRC_16_layers"
input: "data"
input_dim: 10
input_dim: 3
input_dim: 224
input_dim: 224
layers {
  bottom: "data"
  top: "conv1_1"
  name: "conv1_1"
  type: CONVOLUTION
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv1_1"
  top: "conv1_1"
  name: "relu1_1"
  type: RELU
}
layers {
  bottom: "conv1_1"
  top: "conv1_2"
  name: "conv1_2"
  type: CONVOLUTION
  convolution_param {
    num_output: 64
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv1_2"
  top: "conv1_2"
  name: "relu1_2"
  type: RELU
}
layers {
  bottom: "conv1_2"
  top: "pool1"
  name: "pool1"
  type: POOLING
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layers {
  bottom: "pool1"
  top: "conv2_1"
  name: "conv2_1"
  type: CONVOLUTION
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv2_1"
  top: "conv2_1"
  name: "relu2_1"
  type: RELU
}
layers {
  bottom: "conv2_1"
  top: "conv2_2"
  name: "conv2_2"
  type: CONVOLUTION
  convolution_param {
    num_output: 128
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv2_2"
  top: "conv2_2"
  name: "relu2_2"
  type: RELU
}
layers {
  bottom: "conv2_2"
  top: "pool2"
  name: "pool2"
  type: POOLING
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layers {
  bottom: "pool2"
  top: "conv3_1"
  name: "conv3_1"
  type: CONVOLUTION
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv3_1"
  top: "conv3_1"
  name: "relu3_1"
  type: RELU
}
layers {
  bottom: "conv3_1"
  top: "conv3_2"
  name: "conv3_2"
  type: CONVOLUTION
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv3_2"
  top: "conv3_2"
  name: "relu3_2"
  type: RELU
}
layers {
  bottom: "conv3_2"
  top: "conv3_3"
  name: "conv3_3"
  type: CONVOLUTION
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv3_3"
  top: "conv3_3"
  name: "relu3_3"
  type: RELU
}
layers {
  bottom: "conv3_3"
  top: "pool3"
  name: "pool3"
  type: POOLING
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layers {
  bottom: "pool3"
  top: "conv4_1"
  name: "conv4_1"
  type: CONVOLUTION
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv4_1"
  top: "conv4_1"
  name: "relu4_1"
  type: RELU
}
layers {
  bottom: "conv4_1"
  top: "conv4_2"
  name: "conv4_2"
  type: CONVOLUTION
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv4_2"
  top: "conv4_2"
  name: "relu4_2"
  type: RELU
}
layers {
  bottom: "conv4_2"
  top: "conv4_3"
  name: "conv4_3"
  type: CONVOLUTION
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv4_3"
  top: "conv4_3"
  name: "relu4_3"
  type: RELU
}
layers {
  bottom: "conv4_3"
  top: "pool4"
  name: "pool4"
  type: POOLING
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layers {
  bottom: "pool4"
  top: "conv5_1"
  name: "conv5_1"
  type: CONVOLUTION
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv5_1"
  top: "conv5_1"
  name: "relu5_1"
  type: RELU
}
layers {
  bottom: "conv5_1"
  top: "conv5_2"
  name: "conv5_2"
  type: CONVOLUTION
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv5_2"
  top: "conv5_2"
  name: "relu5_2"
  type: RELU
}
layers {
  bottom: "conv5_2"
  top: "conv5_3"
  name: "conv5_3"
  type: CONVOLUTION
  convolution_param {
    num_output: 512
    pad: 1
    kernel_size: 3
  }
}
layers {
  bottom: "conv5_3"
  top: "conv5_3"
  name: "relu5_3"
  type: RELU
}
layers {
  bottom: "conv5_3"
  top: "pool5"
  name: "pool5"
  type: POOLING
  pooling_param {
    pool: MAX
    kernel_size: 2
    stride: 2
  }
}
layers {
  bottom: "pool5"
  top: "fc6"
  name: "fc6"
  type: INNER_PRODUCT
  inner_product_param {
    num_output: 4096
  }
}
layers {
  bottom: "fc6"
  top: "fc6"
  name: "relu6"
  type: RELU
}
layers {
  bottom: "fc6"
  top: "fc6"
  name: "drop6"
  type: DROPOUT
  dropout_param {
    dropout_ratio: 0.5
  }
}
layers {
  bottom: "fc6"
  top: "fc7"
  name: "fc7"
  type: INNER_PRODUCT
  inner_product_param {
    num_output: 4096
  }
}
layers {
  bottom: "fc7"
  top: "fc7"
  name: "relu7"
  type: RELU
}
layers {
  bottom: "fc7"
  top: "fc7"
  name: "drop7"
  type: DROPOUT
  dropout_param {
    dropout_ratio: 0.5
  }
}
layers {
  bottom: "fc7"
  top: "fc8"
  name: "fc8"
  type: INNER_PRODUCT
  inner_product_param {
    num_output: 1000
  }
}
layers {
  bottom: "fc8"
  top: "prob"
  name: "prob"
  type: SOFTMAX
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148
  • 149
  • 150
  • 151
  • 152
  • 153
  • 154
  • 155
  • 156
  • 157
  • 158
  • 159
  • 160
  • 161
  • 162
  • 163
  • 164
  • 165
  • 166
  • 167
  • 168
  • 169
  • 170
  • 171
  • 172
  • 173
  • 174
  • 175
  • 176
  • 177
  • 178
  • 179
  • 180
  • 181
  • 182
  • 183
  • 184
  • 185
  • 186
  • 187
  • 188
  • 189
  • 190
  • 191
  • 192
  • 193
  • 194
  • 195
  • 196
  • 197
  • 198
  • 199
  • 200
  • 201
  • 202
  • 203
  • 204
  • 205
  • 206
  • 207
  • 208
  • 209
  • 210
  • 211
  • 212
  • 213
  • 214
  • 215
  • 216
  • 217
  • 218
  • 219
  • 220
  • 221
  • 222
  • 223
  • 224
  • 225
  • 226
  • 227
  • 228
  • 229
  • 230
  • 231
  • 232
  • 233
  • 234
  • 235
  • 236
  • 237
  • 238
  • 239
  • 240
  • 241
  • 242
  • 243
  • 244
  • 245
  • 246
  • 247
  • 248
  • 249
  • 250
  • 251
  • 252
  • 253
  • 254
  • 255
  • 256
  • 257
  • 258
  • 259
  • 260
  • 261
  • 262
  • 263
  • 264
  • 265
  • 266
  • 267
  • 268
  • 269
  • 270
  • 271
  • 272
  • 273
  • 274
  • 275
  • 276
  • 277
  • 278
  • 279
  • 280
  • 281
  • 282
  • 283
  • 284
  • 285
  • 286
  • 287
  • 288
  • 289
  • 290
  • 291
  • 292
  • 293
  • 294
  • 295
  • 296
  • 297
  • 298
  • 299
  • 300
  • 301
  • 302
  • 303
  • 304
  • 305
  • 306
  • 307
  • 308
  • 309
  • 310
  • 311
  • 312
  • 313
  • 314
  • 315
  • 316
  • 317
  • 318
  • 319
  • 320
  • 321
  • 322
  • 323
  • 324
  • 325
  • 326
  • 327
  • 328
  • 329
  • 330
  • 331
  • 332
  • 333
  • 334
  • 335
  • 336
  • 337
  • 338
  • 339
  • 340
  • 341
  • 342
  • 343
  • 344
  • 345

訓練腳本修改

1）生成 test、trainval、deploy

a. 執行 fcn/siftflow-fcn32s/net.py 生成 test.prototxt 和 trainval.prototxt
b. cp test.prototxt 為 deploy.protxt

將第一個 data 層換成

layer {
  name: "input"
  type: "Input"
  top: "data"
  input_param {
    # These dimensions are purely for sake of example;
    # see infer.py for how to reshape the net to the given input size.
    shape { dim: 1 dim: 3 dim: 256 dim: 256 }
  }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

刪除網絡後面包含 loss 的層（一共2個）

2）修改 fcn/siftflow-fcn32s/solve.py

import caffe
import surgery, score

import numpy as np
import os
import sys

try:
    import setproctitle
    setproctitle.setproctitle(os.path.basename(os.getcwd()))
except:
    pass

vgg_weights = ‘../ilsvrc-nets/vgg16-fcn.caffemodel‘
vgg_proto = ‘../ilsvrc-nets/VGG_ILSVRC_16_layers_deploy.prototxt‘

# init
caffe.set_device(0)
caffe.set_mode_gpu()

solver = caffe.SGDSolver(‘solver.prototxt‘)
#solver.net.copy_from(weights)
vgg_net = caffe.Net(vgg_proto, vgg_weights, caffe.TRAIN)
surgery.transplant(solver.net, vgg_net)
del vgg_net

# surgeries
interp_layers = [k for k in solver.net.params.keys() if ‘up‘ in k]
surgery.interp(solver.net, interp_layers)

# scoring
test = np.loadtxt(‘../data/sift-flow/test.txt‘, dtype=str)

for _ in range(50):
    solver.step(2000)
    # N.B. metrics on the semantic labels are off b.c. of missing classes;
    # score manually from the histogram instead for proper evaluation
    score.seg_tests(solver, False, test, layer=‘score_sem‘, gt=‘sem‘)
    score.seg_tests(solver, False, test, layer=‘score_geo‘, gt=‘geo‘)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39

3）修改 fcn/siftflow-fcn32s/solve.prototxt
添加快照設置：

snapshot:4000
snapshot_prefix:"snapshot/train"
  • 1
  • 2

訓練及測試

1） 復制 fcn/ 下的 infer.py、score.py、siftflow_layers.py、surgery.py 到 fcn/siftflow-fcn32s 下

2）python train.py 開始訓練

3）修改 infer.py 的模型路徑及測試圖片路徑

　　　　　　　　　　技術分享圖片
　　　　　　　　　　　　　　　　　　　　　　　圖1. 叠代72000次的分割結果

4）之後可以以 fcn32s 的訓練結果為基礎，訓練 fcn16s 和 fcn8s
　需要註意的是，對於 fcn16s 和 fcn8s，由於不需要重新構造網絡層，因此 solve.py 不需要改

import caffe
import surgery, score

import numpy as np
import os
import sys

try:
    import setproctitle
    setproctitle.setproctitle(os.path.basename(os.getcwd()))
except:
    pass

weights = ‘../siftflow-fcn32s/snapshot/train_iter_100000.caffemodel‘

# init
caffe.set_device(0)
caffe.set_mode_gpu()

solver = caffe.SGDSolver(‘solver.prototxt‘)
solver.net.copy_from(weights)

# surgeries
interp_layers = [k for k in solver.net.params.keys() if ‘up‘ in k]
surgery.interp(solver.net, interp_layers)

# scoring
test = np.loadtxt(‘../data/sift-flow/test.txt‘, dtype=str)

for _ in range(50):
    solver.step(2000)
    # N.B. metrics on the semantic labels are off b.c. of missing classes;
    # score manually from the histogram instead for proper evaluation
    score.seg_tests(solver, False, test, layer=‘score_sem‘, gt=‘sem‘)
    score.seg_tests(solver, False, test, layer=‘score_geo‘, gt=‘geo‘)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35

如何制作自己的訓練數據

相比 detect（使用LabelImg框選目標），segment的數據需要耗費很大精力去準備

參考這篇帖子，MIT提供了一個在線標註多邊形的工具LabelMe，但一般在工程上，為了盡量精確，更多還是使用 photoshop 的“快速選擇”工具

1）首先用 ps 打開待標記圖像，“圖像->模式->灰度”，將圖像轉為灰度圖
2）使用“快速選擇”工具，選出目標區域，“右鍵->填充->顏色”，假設該區域的 label 為 9 ，那麽設置 RGB 為 (9,9,9)

　　　　　　　　　　　技術分享圖片
　　　　　　　　　　　　　　　　　　　　　　　　　　　圖2. 選擇區域並填充

3）所有類別填充完成後，“文件->存儲為”label 圖像

註意：以上方法針對 SegNet 裏的 CamVid 數據格式（圖3）

　　　　　　　　　　　　　　　　　　　　　　　技術分享圖片
　　　　　　　　　　　　　　　　　　　　　　　　　圖3. CamVid 數據格式

如圖3所示，train和test裏為RGB圖像，trainannot和testannot裏為標記過的label圖像（灰度）
　　　　　　一組訓練（圖3右）數據包含兩張圖像

圖像語義分割代碼實現（1）

相關推薦

圖像語義分割代碼實現（1）

getcwd classes ner copy imp rec snapshot ini str 谷歌最新語義圖像分割模型 DeepLab-v3+ 現已開源 https://www.oschina.net/news/94257/google-open-sources-pix

圖像語義分割的前世今生（轉載）良心之作

解釋 運行 明顯 視覺 缺點 事情 img 裏的 deep 　　 1998年以來，人工神經網絡識別技術已經引起了廣泛的關註，並且應用

基於深度學習的圖像語義分割技術概述之5.1度量標準

-s 公平性 的確 由於 表示 n-2 sub 包含 提升 本文為論文閱讀筆記，不當之處，敬請指正。 A Review on Deep Learning Techniques Applied to Semantic Segmentation:原文鏈接 5.1度量標準 為何需

機器學習-反向傳播算法（BP）代碼實現（matlab）

sha eric his work onclick chan same images let %% Machine Learning Online Class - Exercise 4 Neural Network Learning % Instructions

Android學習心得（13） －－－ Android代碼混淆（1）

簽名 ref nes 三分 pen key this tool prop 我在博客上發表一些我的Android學習心得，希望對大家能有幫助。 這一篇我們講述一下最新的ADT環境下怎樣進行Android混淆 在新版本號的ADT創建項目時。混碼的文

Spring源代碼分析（1）---LocalSessionFactoryBean(工廠的工廠)

self action interface 開始 environ mac hbm upd put LocalSessionFacotoryBean其實就是適配了Configuration對象，或者說是一個工廠的工廠，他是Configuration的工廠，生成了Configu

jQuery源代碼解析（1）—— jq基礎、data緩存系統

代碼解析 post 方法 step 作用域鏈 垃圾清理 版本 get initial 閑話 jquery 的源代碼已經到了1.12.0 版本號。據官網說1版本號和2版本號若無意外將不再更新，3版本號將做一個架構上大的調整。但預計能兼容IE6-8的。或許

Faster rcnn代碼理解（1）

感覺 組織 等我 ont 包含 還要 定義 fig 訓練數據 這段時間看了不少論文，回頭看看，感覺還是有必要將Faster rcnn的源碼理解一下，畢竟後來很多方法都和它有相近之處，同時理解該框架也有助於以後自己修改和編寫自己的框架。好的開始吧～ 這裏我們跟著Faster

數據庫路由中間件MyCat - 源代碼篇（1）

結果 參數 負責 con cancel size port can value 此文已由作者張鎬薪授權網易雲社區發布。歡迎訪問網易雲社區，了解更多網易技術產品運營經驗。進入了源代碼篇，我們先從整體入手，之後拿一個簡單流程前端連接建立與認證作為例子，理清代碼思路和設計模式。然

opencv---JPEG圖像質量檢測代碼

feature row lena world mes 代表性 xcode include true 參考：http://blog.csdn.net/trent1985/article/details/50904173 根據國外一篇大牛的文章：No-Reference Per

OSChinaclient源代碼學習（3）--輪詢機制的實現

man data 本地變量 其它 失敗 cbo cancel seh ref 主要以OSChina Androidclient源代碼中Notice的輪詢機制進行解讀。 一、基礎知識 一般IM（即使通訊）的實現有兩種方式：推送和輪詢，推送就是se

機器學習：線性回歸——理論與代碼實現（基於正規方程與梯度下降）

overfit 返回 pen ear 隨機梯度 是否 很大的 建模 回歸 一 線性模型 給定由n個屬性描述的列向量\(f(\mathbf{x})={(x^{(1)};x^{(2)};...;x^{(n)})}\)，其中 \(x^{(j)}\)是\(\textbf{x}\)

統計學習三：2.K近鄰法代碼實現（以最近鄰法為例）

數據集 learning pytho port 4.3 @property 存儲 uil github 通過上文可知感知機模型的基本原理，以及算法的具體流程。本文實現了感知機模型算法的原始形式，通過對算法的具體實現，我們可以對算法有進一步的了解。具體代碼可以在我的githu

lua源代碼學習（一）lua的c api外圍實現

在操作 時間 struct ack cti 壓棧 c api field stat 工作後，整個人已經比較松懈了。盡管一直在看lua的源代碼。可是一直是比較零碎的時間，沒有系統的整理

分成確定性錢包開發的代碼實現（HD錢包服務）

label pbkdf2 err 發的 生成 enc 非對稱加密 ans 祖先 HD Wallets的全稱是Hierachical Deterministic Wallets， 對應中文是 分層確定性錢包。 這種錢包能夠使用一組助記詞來管理所有的賬戶的所有幣種，在比特幣的B

基於深度學習的圖像語義分割技術概述之背景與深度網絡架構

模糊 blank dog 像素 單獨 取出 rate 分類 底層 圖像語義分割正在逐漸成為計算機視覺及機器學習研究人員的研究熱點。大量應用需要精確、高效的分割機制，如：自動駕駛、室內導航、及虛擬/增強現實系統。這種需求與機器視覺方面的深度學習領域的目標一致，包括語義分割或場

影象語義分割程式碼實現（1）

針對《影象語義分割（1）- FCN》介紹的FCN演算法，以官方的程式碼為基礎，在 SIFT-Flow 資料集上做訓練和測試。 介紹瞭如何製作自己的訓練資料 資料準備 1） 首先 clone 官方工程 git clone https://g

巧用Notepad++插件：JS代碼格式化（JSToolNpp）

src 按鈕 一個 jsf 格式 發的 alt manage tro 我在做開發的時候經常會用到Noepad++，這個編輯器使用比較方便，啟動速度夠快，輕便，功能也強大，還有插件也蠻多。 我們在寫Js的時候，經常需要格式化Js代碼，這個時候就可以試下這款插件：JsToolN

【Java】【Flume】Flume-NG啟動過程源代碼分析（一）

code extends fix tar top 依據 oid article gif 從bin/flume 這個shell腳本能夠看到Flume的起始於org.apache.flume.node.Application類，這是flume的main函數所在。 　　m

C語言代碼訓練營（2）

周末 int main 基本 之前 lin 例題 鏈接 params 上一篇的評論中，大家反饋評論中貼代碼無法排版。我們改一下規則，大家可以把自己實現的代碼發布在自己的簡書博文中，之後把鏈接貼在評論中。這樣也方便大家日後追溯。 當然，也可以直接發郵件給我。希望大家堅持打卡，