影象分割
深度學習尤其是卷積神經網路在影象處理的許多領域都獲得了很大的成功，在分類，識別等方面都已經獲得了很大的成功.在深度學習把影象分類和識別達到極致之後。深度學習開始在影象分割方面開始進行收割了。影象分割的意思就是對於影象中每個畫素進行分類操作。
提到深度學習用在影象分割上不得不提的一篇文章是FCN 這篇文章。這算一個開創性的文章吧。整個文章採用的模型是基於VGG16的模型。

一開始在這邊文章中我們可以發現影象分割和影象分類的區別了。在這裡影象分割把影象分割的最後幾層全連線的結構去掉了，因為不需要對整個影象進行概率的分類。把全連線結構去掉以後，後面進行了插值計算還原了整個圖片的大小最後得到分割的影象。在這裡不進行細說了。有興趣的可以具體看看論文。
在有一些基礎的同學看來，導致整個影象解析度下降的原因是採用了池化的操作了卷積操作。導致整個一開始的影象大小慢慢的縮小了。所以現在去掉整個池化和採用“SAME”的卷積操作不就可以了。

這種結構理論上是可以的，但是在實際操作中有很大的問題。在計算量和記憶體消耗上都十分巨大的，導致整個這樣操作不是很現實。
在FCN開創了一個開始以後，後面出現了很多網路結構。現在最有用的也是用的最廣泛的就是編碼和解碼的結構。

這種結構有許多典型的文章，比如segnet deconvnet u-net 等一系列這些文章。這些文章基本結構都是大同小異的，都是編碼和解碼的結構。
在編碼和解碼結構使用成熟以後。大家又回到一開始的FCN的結構。把最後的那個解碼結構去掉了。但是去掉了解碼過程以後，又回到一開始的問題。整個圖片的解析度越來越小無法保證了。所以後面有出現了一個經典的結構。俗稱帶洞的卷積神經網路影象分割。這其中以deeplab 的結構為主。


這型別的網路解決了影象解析度越來越小等一系列問題。也有比較好的效果了。
但是最近幾年又又新的結構和方式的結構提出來。所以深度學習在影象分割的領域有了很好的應用了。
上面只是說了一些大概的過程和結構。在FCN網路提出了以後，有許多基於這個結構的網路提出了只不過後面採用了CRF等一些結構來進一步優化整個輸出的結果。
下面是基於keras 的影象分割的簡單實現

def FCN8s():
    inputData = Input(batch_shape=(None,224,224,3))
    conv1_1 = Conv2D(64,kernel_size=(3,3),activation='relu'
 
,padding='same', name='conv1_1')(inputData)
    conv1_2 = Conv2D(64,kernel_size=(3,3),activation='relu',padding='same', name='conv1_2')(conv1_1)
    pool1 = MaxPooling2D((2,2), strides=(2,2), name='pool1')(conv1_2)

    conv2_1 = Conv2D(128,kernel_size=(3,3),activation='relu',padding='same', name='conv2_1')(pool1)
    conv2_2 = Conv2D(128,kernel_size=(3,3),activation='relu',padding='same', name='conv2_2')(conv2_1)
    pool2 = MaxPooling2D((2,2), strides=(2,2), name='pool2')(conv2_2)

    conv3_1 = Conv2D(256,kernel_size=(3,3),activation='relu',padding='same', name='conv3_1')(pool2)
    conv3_2 = Conv2D(256,kernel_size=(3,3),activation='relu',padding='same', name='conv3_2')(conv3_1)
    conv3_3 = Conv2D(256,kernel_size=(3,3),activation='relu',padding='same', name='conv3_3')(conv3_2)
    pool3 = MaxPooling2D((2,2), strides=(2,2), name='pool3')(conv3_3)

    conv4_1 = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same', name='conv4_1')(pool3)
    conv4_2 = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same', name='conv4_2')(conv4_1)
    conv4_3 = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same', name='conv4_3')(conv4_2)
    pool4 = MaxPooling2D((2,2), strides=(2,2), name='pool4')(conv4_3)

    conv5_1 = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same', name='conv5_1')(pool4)
    conv5_2 = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same', name='conv5_2')(conv5_1)
    conv5_3 = Conv2D(512,kernel_size=(3,3),activation='relu',padding='same', name='conv5_3')(conv5_2)
    pool5 = MaxPooling2D((2,2), strides=(2,2), name='pool5')(conv5_3)

    fc6 = Conv2D(4096,kernel_size=(7,7),activation='relu',padding='same', name='fc6')(pool5)
    drop6 = Dropout(0.5)(fc6)
    fc7 = Conv2D(4096,kernel_size=(1,1),activation='relu',padding='same', name='fc7')(drop6)
    drop7 = Dropout(0.5)(fc7)
    score_fr = Conv2D(21, kernel_size=(1,1), padding='valid', name='score_fr')(drop7)

    score2 = Conv2DTranspose(21, kernel_size=(4,4),strides=(2,2), name='score2')(score_fr)
    upscore2 = Cropping2D(cropping=1, name='crop2')(score2)

    score_pool4 = Conv2D(21, kernel_size=(1,1), padding='valid', name='score_pool4')(pool4)
    fuse = add([upscore2,score_pool4], name='fuse')
    score4 = Conv2DTranspose(21, kernel_size=(4,4),strides=(2,2), name='score4', use_bias=False)(fuse)
    upscore4 = Cropping2D(cropping=1, name='crop4')(score4)

    score_pool3 = Conv2D(21, kernel_size=(1,1), padding='valid', name='score_pool3')(pool3)
    fusex = add([upscore4,score_pool3], name='fusex')

    upscore16 = Conv2DTranspose(21, kernel_size=(16,16),strides=(8,8), name='upsample', use_bias=False)(fusex)
    score = Cropping2D(cropping=4, name='score')(upscore16)
    model = Model(inputs=inputData, outputs=[score])
    return model

參考文獻
1 SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation
2 DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs
3 Fully Convolutional Networks for Semantic Segmentation
4 ICNet for Real-Time Semantic Segmentation on High-Resolution Images
5 Learning Deconvolution Network for Semantic Segmentation Hyeonwoo
6 U-Net: Convolutional Networks for Biomedical Image Segmentation
Olaf
7 Conditional Random Fields as Recurrent Neural Networks
Shuai