最近基於深度學習的影象分割技術一般依賴於卷積神經網路CNN的訓練，訓練過程中需要非常大量的標記影象，即一般要求訓練影象中都要有精確的分割結果。

對於影象分割而言，要得到大量的完整標記過的影象非常困難，比如在ImageNet資料集上，有1400萬張圖有類別標記，有50萬張圖給出了bounding box,但是隻有4460張影象有畫素級別的分割結果。對訓練影象中的每個畫素做標記非常耗時，特別是對醫學影象而言，完成對一個三維的CT或者MRI影象中各組織的標記過程需要數小時。

如果學習演算法能通過對一些初略標記過的資料集的學習就能完成好的分割結果，那麼對訓練資料的標記過程就很簡單，這可以大大降低花在訓練資料標記上的時間。這些初略標記可以是：1， 只給出一張影象裡面包含哪些物體， 2， 給出某個物體的邊界框， 3， 對影象中的物體區域做部分畫素的標準，例如畫一些線條、塗鴉等（scribbles)。

1， ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation (CVPR 2016)

香港中文大學的Di Lin提出了一個基於Scribble標記的弱監督學習方法。 Scribble是一個很方便使用的標記方法，因此被用得比較廣泛。如下圖，只需要畫五條線就能完成對一副影象的標記工作。

ScribbleSup分為兩步，第一步將畫素的類別資訊從scribbles傳播到其他未標記的畫素，自動完成所有的訓練影象的標記工作； 第二步使用這些標記影象訓練CNN。在第一步中，該方法先生成super-pxels, 然後基於graph cut的方法對所有的super-pixel進行標記。

Graph cut 的能量函式為：

∑iψi(yi|X,S)+∑i,jψij(yi,yj,X)

在這個graph中，每個super pxiel是graph中的一個節點，相接壤的super pixel之間有一條連線的邊。這個能量函式中的一元項包括兩種情況，一個是來自於scribble的，一個是來自CNN對該super pixel預測的概率。整個最優化過程實際上是求graph cut能量函式和CNN引數聯合最優值的過程：

∑iψscri(yi|X,S)+∑i−logP(yi|X,Θ)+∑i,jψij(yi,yj|X)

上式的最優化是通過交替求Y和\Theta的最優值來實現的。文章中發現通過三次迭代就能得到比較好的結果。

2, Constrained Convolutional Neural Networks for Weakly Supervised Segmentation （ICCV 2015）

UC Berkeley的Deepak Pathak 使用了一個具有影象級別標記的訓練資料來做弱監督學習。訓練資料中只給出影象中包含某種物體，但是沒有其位置資訊和所包含的畫素資訊。該文章的方法將image tags轉化為對CNN輸出的label分佈的限制條件，因此稱為 Constrained convolutional neural network (CCNN).

該方法把訓練過程看作是有線性限制條件的最優化過程：

其中P(X)是一個隱含的類別分佈，Q(X)是CNN預測的類別分佈。目標函式是KL-divergence最小化。其中的線性限制條件來自於訓練資料上的標記，例如一幅影象中前景類別畫素個數期望值的上界或者下界（物體大小）、某個類別的畫素個數在某影象中為0，或者至少為1等。該目標函式可以轉化為為一個loss function，然後通過SGD進行訓練。

實驗中發現單純使用Image tags作為限制條件得到的分割結果還比較差，在PASCAL VOC 2012 test資料集上得到的mIoU為35.6%，加上物體大小的限制條件後能達到45.1%， 如果再使用bounding box做限制，可以達到54%。FCN-8s可以達到62.2%，可見弱監督學習要取得好的結果還是比較難。

3， Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation

Google的George Papandreou 和UCLA的Liang-Chieh Chen等在DeepLab的基礎上進一步研究了使用bounding box和image-level labels作為標記的訓練資料。使用了期望值最大化演算法（EM）來估計未標記的畫素的類別和CNN的引數。

對於image-level標記的資料，我們可以觀測到影象的畫素值x和影象級別的標記z,但是不知道每個畫素的標號y,因此把 y當做隱變數。使用如下的概率圖模式：
P(x,y,z;θ)=P(x)(∏Mm=1P(ym|x;θ))P(z|y)

使用EM演算法估計θ和y。E步驟是固定θ求y的期望值，M步驟是固定y使用SGD計算θ.

對於給出bounding box標記的訓練影象，該方法先使用CRF對該訓練影象做自動分割，然後在分割的基礎上做全監督學習。

通過實驗發現，單純使用影象級別的標記得到的分割效果較差，但是使用bounding box的訓練資料可以得到較好的結果，在VOC2012 test資料集上得到mIoU 62.2%。另外如果使用少量的全標記影象和大量的弱標記影象進行結合，可以得到與全監督學習(70.3%)接近的分割結果(69.0%)。

4, Learning to Segment Under Various Forms of Weak Supervision (CVPR 2015)

Wisconsin-Madison大學的Jia Xu提出了一個統一的框架開處理各種不同型別的弱標記：影象級別的標記、bounding box和部分畫素標記如scribbles。該方法把所有的訓練影象分成共計n個super-pixel，對每個super-pixel提取一個d維特徵向量。因為不知道每個super-pixel所屬的類別，相當於無監督學習，因此該方法對所有的super-pixel做聚類，使用的是最大間隔聚類方法(max-margin clustering, MMC),該過程的最優化目標函式是：

12tr(WTW)+λ∑np=1∑Cc=1ξ(wc;xp;hcp)

其中W是一個特徵矩陣，每列代表了對於的類別的聚類特徵。ξ是一個間隔代價函式，代表了將第p個super-pixel劃分到第c類的代價。在這個目標函式的基礎上，根據不同的弱標記方式，可以給出不同的限制條件，因此該方法就是在相應的限制條件下求最大間隔聚類。

該方法在Siftflow資料集上得到了比較好的結果，比state-of-the-art的結果提高了10%以上。

小結：在弱標記的資料集上訓練影象分割演算法可以減少對大量全標記資料的依賴，在大多數應用中會更加貼合實際情況。弱標記可以是影象級別的標記、邊框和部分畫素的標記等。訓練的方法一般看做是限制條件下的最優化方法。另外EM演算法可以用於CNN引數和畫素類別的聯合求優。

參考文獻

1， Di Lin, Jifeng Dai, Jiaya Jia, Kaiming He, and Jian Sun.”ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation”. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016

2, Pathak, Deepak, Philipp Krahenbuhl, and Trevor Darrell. “Constrained convolutional neural networks for weakly supervised segmentation.” Proceedings of the IEEE International Conference on Computer Vision. 2015.

3, Papandreou, George, et al. “Weakly-and semi-supervised learning of a DCNN for semantic image segmentation.” arXiv preprint arXiv:1502.02734 (2015).

4, Xu, Jia, Alexander G. Schwing, and Raquel Urtasun. “Learning to segment under various forms of weak supervision.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.