2. 程式人生 > >[深度學習]Semantic Segmentation語義分割之FCN(1)

[深度學習]Semantic Segmentation語義分割之FCN(1)

阿新 • • 發佈：2018-12-04

論文全稱：《Fully Convolutional Networks for Semantic Segmentation》

論文地址：https://arxiv.org/pdf/1411.4038.pdf

論文程式碼：

python caffe版本 https://github.com/shelhamer/fcn.berkeleyvision.org 

python TensorFlow版本 https://github.com/shekkizh/FCN.tensorflow  

https://github.com/MarvinTeichmann/tensorflow-fcn

python keras版本 https://github.com/aurora95/Keras-FCN

python pytorch版本 https://github.com/wkentaro/pytorch-fcn

目錄

目錄

創新之處

​

Convolutionlization 卷積化

Upsampling 上取樣

 “skip” architecture 跳躍連線

程式碼詳細

這篇論文據說是語義分割的開山之作，是在2014年11月提交到arXiv上的，距離現在已經有四年多時間。這篇論文之前已經有人提出了FCN，但是之前的工作都沒有這篇論文那樣端到端訓練，而且也是第一次在語義分割任務上使用了pre-trained預訓練模型。雖然當年的R-CNN

是基於區域的CNN目標檢測系列的第一篇論文，但是R-CNN把檢測和分割放到一起沒有FCN的效果那麼好，所以2014年之後的很多語義分割的網路都是基於FCN創新。

如果對語義分割不太瞭解可以檢視

[深度學習]從全卷積網路到大型卷積核：深度學習的語義分割全指南

創新之處

  1. 使用可以end-to-end訓練的Fully Convolutional Net和 fine-tuning pre-trained model
  2. 上取樣(Upsampling)生成heatmap
  3.  “skip” architecture結合粗糙的高層語義資訊和細緻的淺層語義資訊

下面詳細展開每一個創新點。

Convolutionlization 卷積化

如上圖是將影象的分類網路中最後的全連線層使用1*1的卷積替換。這就是所謂卷積化。卷積層加全連線層的網路最後輸出的維度 是大小固定的，不適用於影象分割的任務，為了使得最後的輸出根據輸入影象大小變化而變化，所以採用了全卷積的網路，這樣就能接受任意大小和比例的影象輸入。

Upsampling 上取樣

雖然將分類網路重新定義為全卷積的，可以生成任意大小輸入的輸出對映，但是輸出維度通常通過子取樣被減少了。所以需要upsampling使得輸出的heatmap與輸入的影象大小一致才能做到語義分割。為此該論文嘗試使用三種方式，分別是：

1.Shift-and-stitch

2.簡單的雙線性插值

3.通過學習的deconvolution反捲積

第一個方法可以參考關於FCN 論文中的 Shift-and-stitch 的詳盡解釋。

第二個方法可以參考雙線性插值演算法的詳細總結。

詳細說說反捲積。反捲積也被稱為轉置卷積。反捲積和卷積是一個相反的過程，卷積是多個生成一個，反捲積是一個生成多個。考慮轉置卷積的最簡單方法是首先計算給定輸入形狀的直接卷積的輸出形狀，然後反轉轉置卷積的輸入和輸出形狀。

../_images/no_padding_no_strides.gif

普通卷積過程

../_images/no_padding_no_strides_transposed.gif

反捲積過程

 

 “skip” architecture 跳躍連線

 

為了結合粗糙的高層語義資訊和細緻的淺層語義資訊，提出了DAG。由於更細的尺度預測看到的畫素更少，所以預測需要更少的層，因此從更淺的淨輸出中進行預測是有意義的。將精細層和粗層結合起來，可以使模型在區域性進行預測時尊重全域性結構。他們連線的方式如下圖。FCN採取解決方法是將pool4、pool3、和特徵map融合起來，由於pool3、pool4、特徵map大小尺寸是不一樣的，所以融合應該前上取樣到同一尺寸。這裡的融合是拼接在一起，不是對應元素相加。

FCN8s是上面講的pool4、pool3和特徵map融合，FCN16s是pool4和特徵map融合，FCN32s是隻有特徵map，得出結果都是細節不夠好。

程式碼詳細

程式碼來源：https://github.com/shelhamer/fcn.berkeleyvision.org/blob/master/voc-fcn8s/net.py

是基於python語言的caffe實現的。只討論其中的一個版本FCN-8s，資料集是voc。

首先需要定義一些能夠服用的函式，比如重複多次的卷積加ReLU，maxpool等。

def conv_relu(bottom, nout, ks=3, stride=1, pad=1):
    conv = L.Convolution(bottom, kernel_size=ks, stride=stride,
        num_output=nout, pad=pad,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    return conv, L.ReLU(conv, in_place=True)

def max_pool(bottom, ks=2, stride=2):
    return L.Pooling(bottom, pool=P.Pooling.MAX, kernel_size=ks, stride=stride)

然後開始定義基礎網路結構，下面的程式碼與上面的圖片相對應。

    n.conv1_1, n.relu1_1 = conv_relu(n.data, 64, pad=100)
    n.conv1_2, n.relu1_2 = conv_relu(n.relu1_1, 64)
    n.pool1 = max_pool(n.relu1_2)

    n.conv2_1, n.relu2_1 = conv_relu(n.pool1, 128)
    n.conv2_2, n.relu2_2 = conv_relu(n.relu2_1, 128)
    n.pool2 = max_pool(n.relu2_2)

    n.conv3_1, n.relu3_1 = conv_relu(n.pool2, 256)
    n.conv3_2, n.relu3_2 = conv_relu(n.relu3_1, 256)
    n.conv3_3, n.relu3_3 = conv_relu(n.relu3_2, 256)
    n.pool3 = max_pool(n.relu3_3)

    n.conv4_1, n.relu4_1 = conv_relu(n.pool3, 512)
    n.conv4_2, n.relu4_2 = conv_relu(n.relu4_1, 512)
    n.conv4_3, n.relu4_3 = conv_relu(n.relu4_2, 512)
    n.pool4 = max_pool(n.relu4_3)

    n.conv5_1, n.relu5_1 = conv_relu(n.pool4, 512)
    n.conv5_2, n.relu5_2 = conv_relu(n.relu5_1, 512)
    n.conv5_3, n.relu5_3 = conv_relu(n.relu5_2, 512)
    n.pool5 = max_pool(n.relu5_3)

接著是全卷積部分。這一部分有三個分支。這裡解釋一下我之前理解錯誤的一個地方，下圖中有三個密集的輸出，但是真實的網路中只有一個輸出，比如FCN-32s,FCN-16s,FCN-8s。所以這裡的程式碼是FCN-8s就不存在FCN-32s和FCN-16s的密集輸出。

第一個分支：其中n.upscore2對應於

    # fully conv
    n.fc6, n.relu6 = conv_relu(n.pool5, 4096, ks=7, pad=0)
    n.drop6 = L.Dropout(n.relu6, dropout_ratio=0.5, in_place=True)
    n.fc7, n.relu7 = conv_relu(n.drop6, 4096, ks=1, pad=0)
    n.drop7 = L.Dropout(n.relu7, dropout_ratio=0.5, in_place=True)
    n.score_fr = L.Convolution(n.drop7, num_output=21, kernel_size=1, pad=0,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    n.upscore2 = L.Deconvolution(n.score_fr,
        convolution_param=dict(num_output=21, kernel_size=4, stride=2,
            bias_term=False),
        param=[dict(lr_mult=0)])

第二個分支：首先得對pool4做一層卷積。這裡特別注意一下crop（）函式，論文裡面也提到過，他的主要作用是進行裁切。Eltwise（）則是用於將兩個feature以相加的方式組合在一起，因為這裡設定了operation是Sum，其實還可以是點乘等操作。

這裡的Eltwise就對應於：

    n.score_pool4 = L.Convolution(n.pool4, num_output=21, kernel_size=1, pad=0,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    n.score_pool4c = crop(n.score_pool4, n.upscore2)
    n.fuse_pool4 = L.Eltwise(n.upscore2, n.score_pool4c,
            operation=P.Eltwise.SUM)
    n.upscore_pool4 = L.Deconvolution(n.fuse_pool4,
        convolution_param=dict(num_output=21, kernel_size=4, stride=2,
            bias_term=False),
        param=[dict(lr_mult=0)])

最後一個分支包括了密集的輸出：跟上一個分支類似，只不過結合的feature變成了pool3。n.upscore8就對應於：

    n.score_pool3 = L.Convolution(n.pool3, num_output=21, kernel_size=1, pad=0,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    n.score_pool3c = crop(n.score_pool3, n.upscore_pool4)
    n.fuse_pool3 = L.Eltwise(n.upscore_pool4, n.score_pool3c,
            operation=P.Eltwise.SUM)
    n.upscore8 = L.Deconvolution(n.fuse_pool3,
        convolution_param=dict(num_output=21, kernel_size=16, stride=8,
            bias_term=False),
        param=[dict(lr_mult=0)])
    n.score = crop(n.upscore8, n.data)
    n.loss = L.SoftmaxWithLoss(n.score, n.label,
            loss_param=dict(normalize=False, ignore_label=255))

將n.upscore8和label softmax 得出loss。

最後奉上原始碼

import caffe
from caffe import layers as L, params as P
from caffe.coord_map import crop

def conv_relu(bottom, nout, ks=3, stride=1, pad=1):
    conv = L.Convolution(bottom, kernel_size=ks, stride=stride,
        num_output=nout, pad=pad,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    return conv, L.ReLU(conv, in_place=True)

def max_pool(bottom, ks=2, stride=2):
    return L.Pooling(bottom, pool=P.Pooling.MAX, kernel_size=ks, stride=stride)

def fcn(split):
    n = caffe.NetSpec()
    pydata_params = dict(split=split, mean=(104.00699, 116.66877, 122.67892),
            seed=1337)
    if split == 'train':
        pydata_params['sbdd_dir'] = '../data/sbdd/dataset'
        pylayer = 'SBDDSegDataLayer'
    else:
        pydata_params['voc_dir'] = '../data/pascal/VOC2011'
        pylayer = 'VOCSegDataLayer'
    n.data, n.label = L.Python(module='voc_layers', layer=pylayer,
            ntop=2, param_str=str(pydata_params))

    # the base net
    n.conv1_1, n.relu1_1 = conv_relu(n.data, 64, pad=100)
    n.conv1_2, n.relu1_2 = conv_relu(n.relu1_1, 64)
    n.pool1 = max_pool(n.relu1_2)

    n.conv2_1, n.relu2_1 = conv_relu(n.pool1, 128)
    n.conv2_2, n.relu2_2 = conv_relu(n.relu2_1, 128)
    n.pool2 = max_pool(n.relu2_2)

    n.conv3_1, n.relu3_1 = conv_relu(n.pool2, 256)
    n.conv3_2, n.relu3_2 = conv_relu(n.relu3_1, 256)
    n.conv3_3, n.relu3_3 = conv_relu(n.relu3_2, 256)
    n.pool3 = max_pool(n.relu3_3)

    n.conv4_1, n.relu4_1 = conv_relu(n.pool3, 512)
    n.conv4_2, n.relu4_2 = conv_relu(n.relu4_1, 512)
    n.conv4_3, n.relu4_3 = conv_relu(n.relu4_2, 512)
    n.pool4 = max_pool(n.relu4_3)

    n.conv5_1, n.relu5_1 = conv_relu(n.pool4, 512)
    n.conv5_2, n.relu5_2 = conv_relu(n.relu5_1, 512)
    n.conv5_3, n.relu5_3 = conv_relu(n.relu5_2, 512)
    n.pool5 = max_pool(n.relu5_3)

    # fully conv
    n.fc6, n.relu6 = conv_relu(n.pool5, 4096, ks=7, pad=0)
    n.drop6 = L.Dropout(n.relu6, dropout_ratio=0.5, in_place=True)
    n.fc7, n.relu7 = conv_relu(n.drop6, 4096, ks=1, pad=0)
    n.drop7 = L.Dropout(n.relu7, dropout_ratio=0.5, in_place=True)
    n.score_fr = L.Convolution(n.drop7, num_output=21, kernel_size=1, pad=0,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    n.upscore2 = L.Deconvolution(n.score_fr,
        convolution_param=dict(num_output=21, kernel_size=4, stride=2,
            bias_term=False),
        param=[dict(lr_mult=0)])

    n.score_pool4 = L.Convolution(n.pool4, num_output=21, kernel_size=1, pad=0,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    n.score_pool4c = crop(n.score_pool4, n.upscore2)
    n.fuse_pool4 = L.Eltwise(n.upscore2, n.score_pool4c,
            operation=P.Eltwise.SUM)
    n.upscore_pool4 = L.Deconvolution(n.fuse_pool4,
        convolution_param=dict(num_output=21, kernel_size=4, stride=2,
            bias_term=False),
        param=[dict(lr_mult=0)])

    n.score_pool3 = L.Convolution(n.pool3, num_output=21, kernel_size=1, pad=0,
        param=[dict(lr_mult=1, decay_mult=1), dict(lr_mult=2, decay_mult=0)])
    n.score_pool3c = crop(n.score_pool3, n.upscore_pool4)
    n.fuse_pool3 = L.Eltwise(n.upscore_pool4, n.score_pool3c,
            operation=P.Eltwise.SUM)
    n.upscore8 = L.Deconvolution(n.fuse_pool3,
        convolution_param=dict(num_output=21, kernel_size=16, stride=8,
            bias_term=False),
        param=[dict(lr_mult=0)])

    n.score = crop(n.upscore8, n.data)
    n.loss = L.SoftmaxWithLoss(n.score, n.label,
            loss_param=dict(normalize=False, ignore_label=255))

    return n.to_proto()

def make_net():
    with open('train.prototxt', 'w') as f:
        f.write(str(fcn('train')))

    with open('val.prototxt', 'w') as f:
        f.write(str(fcn('seg11valid')))

if __name__ == '__main__':
    make_net()

 

相關推薦

[深度學習]Semantic Segmentation語義分割之FCN(1)

論文全稱：《Fully Convolutional Networks for Semantic Segmentation》 論文地址：https://arxiv.org/pdf/1411.4038.pdf 論文程式碼： python caffe版本 https://github

[深度學習]Semantic Segmentation語義分割之UNet(2)

論文全稱：《U-Net: Convolutional Networks for Biomedical Image Segmentation》 論文地址：https://arxiv.org/pdf/1505.04597v1.pdf 論文程式碼：https://github.com/jakere

[深度學習]Semantic Segmentation語義分割之Deeplab v1(5)

論文全稱：《SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS》 論文地址：https://arxiv.org/pdf/1412.7062.pdf 得益於影象空間轉換的不變性，DC

[深度學習]Semantic Segmentation語義分割之空洞卷積DILATED CONVOLUTIONS(4)

論文全稱：《MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS》 論文地址：https://arxiv.org/pdf/1511.07122v2.pdf 論文程式碼： python TensorFlow版本 https

[深度學習]Semantic Segmentation語義分割之SegNet(3)

論文全稱：《SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation》 論文地址：https://arxiv.org/abs/1511.00561 論文程式碼： python

【深度學習】Semantic Segmentation 語義分割

翻譯自 A 2017 Guide to Semantic Segmentation with Deep Learning What exactly is semantic segmentation? 對圖片的每個畫素都做分類。 較為重要的語義分割資料集有：VOC2

基於深度學習的影象語義分割技術概述之4常用方法 5.4未來研究方向

https://blog.csdn.net/u014593748/article/details/72794459 本文為論文閱讀筆記，不當之處，敬請指正。 A Review on Deep Learning Techniques Applied to Semantic Segmen

基於深度學習的影象語義分割技術概述之4常用方法

本文為論文閱讀筆記，不當之處，敬請指正。 A Review on Deep Learning Techniques Applied to Semantic Segmentation:原文連結 4 深度學習影象分割的常用方法 深度學習在多種高階計算機視

基於深度學習的影象語義分割技術概述之背景與深度網路架構

本文為論文閱讀筆記，不當之處，敬請指正。  A Review on Deep Learning Techniques Applied to Semantic Segmentation: 原文連結 摘要 影象語義分割正在逐漸成為計算機視覺及機器學習研究人員的研究熱點。大

語義分割之FCN個人總結

一、網路結構 FCN涉及到了不同尺度的feature map的融合。 融合理由是：低層特徵具有較多的的解析度資訊，更加精細，但語義資訊較弱。高層特徵具有較多語義資訊，然而較粗糙，解析度資訊不足。為了融合語義資訊和細節資訊，對高層的feature map進行反

基於深度學習的影象語義分割演算法綜述（截止20180715）

這篇文章講述卷積神經網路在影象語義分割（semantic image segmentation）的應用。影象分割這項計算機視覺任務需要判定一張圖片中特定區域的所屬類別。 這個影象裡有什麼？它在影象中哪個位置？ 更具體地說，影象語義分割的目標是將影象的每個畫素所

影象語義分割之FCN和CRF

前言 (嘔血製作啊！)前幾天剛好做了個影象語義分割的彙報，把最近看的論文和一些想法講了一下。所以今天就把它總結成文章啦，方便大家一起討論討論。本文只是展示了一些比較經典和自己覺得比較不錯的結構，畢竟這方面還是有挺多的結構方法了。 介紹 影象語義分

基於深度學習的影象語義分割演算法綜述

   作者： 葉  虎            編輯：趙一帆           前  言本文翻譯

深度學習（9）——無監督語義分割之全卷積域適應網路（譯文）

無監督語義分割之全卷積域適應網路 摘要 深度神經網路的最新進展令人信服地證明了在大型資料集上學習視覺模型的高能力。然而，收集專家標記的資料集尤其是畫素級註釋是一個非常昂貴的過程。一個吸引人的選擇是渲染合成數據（例如，計算機遊戲）並自動生成基礎事實。然而，簡單地

語義分割中的深度學習方法全解：從FCN、SegNet到各代DeepLab

語義分割是什麼？語義分割方法在處理影象時，具體到畫素級別，也就是說，該方法會將影象中每個畫素分配到某個物件類別。下面是一個具體案例。△ 左邊為輸入影象，右邊為經過語義分割後的輸出影象。該模型不僅要識別出摩托車和駕駛者，還要標出每個物件的邊界。因此，與分類目的不同，相關模型要具

深度學習論文筆記（六）--- FCN-2015年（Fully Convolutional Networks for Semantic Segmentation）

深度學習論文筆記（六）--- FCN 全連線網路 FullyConvolutional Networks for Semantic Segmentation Author：J Long ， E Shelhamer， T Darrell Year： 2015 1、  導

FCN學習:Semantic Segmentation(摘自知乎)

源文章地址:https://zhuanlan.zhihu.com/p/22976342?utm_source=tuicool&utm_medium=referral FCN學習:Semantic Segmentation 餘俊 計算機視覺及深度學習 366 人讚了該文章

FCN學習:Semantic Segmentation

感謝@huangh12 @鄭途 @麥田守望者對標籤影象生成的研究和討論，這幾天研究了一下，補充如下。-----------------------------------------------------分割線--------------------------------

[深度學習]Object detection物體檢測之YOLO v1(6)

目錄 與以往rcnn，SPPNet，fast rcnn，faster rcnn的不同 YOLO的特點 YOLO的流程 YOLO的網路結構圖 YOLO的loss function YOLO的侷限 YOLO的實驗結果 論文全稱：《You Only Look Once:

[深度學習]Object detection物體檢測之FPN(11)

論文全稱：《Feature Pyramid Networks for Object Detection》 論文地址：http://openaccess.thecvf.com/content_cvpr_2017/papers/Lin_Feature_Pyramid_Networks_CVPR_20