語義分割相關網絡簡述
1、Fully Convolution Networks (FCNs) 全卷積網絡
相應連接：Arxiv
我們將當前分類網絡（AlexNet, VGG net 和 GoogLeNet）修改為全卷積網絡，通過對分割任務進行微調，將它們學習的表征轉移到網絡中。然後，我們定義了一種新的架構，它將深的、粗糙的網絡層的語義信息和淺的、精細的網絡層的表層信息結合起來，來生成精確和詳細的分割。我們的全卷積網絡在 PASCAL VOC（在2012年相對以前有20%的提升，達到了62.2%的平均IU），NYUDv2 和 SIFT Flow 上實現了最優的分割結果，對於一個典型的圖像，推斷只需要三分之一秒的時間。
FCN端到端的密集預測流
關鍵點：
1、端到端預測，做pixel-wise級別的預測
2、對AlexNet、VGG等延展（全連接層轉換成全卷積層）
3、fine-tune相關的網絡
4、任意輸入，輸出分類熱力圖map（因為輸出類沒有確定，所以可以任意輸入）
5、特征是由編碼器中的不同階段合並而成的，它們在語義信息的粗糙程度上有所不同
6、低分辨率語義特征圖的上采樣使用經雙線性插值濾波器初始化的反卷積操作完成
第2點： 將全連接層轉換成卷積層，使得分類網絡可以輸出一個類的熱圖
第5點：FCN-8s 網絡架構
反卷積概念圖
2、SegNet
相應連接：Arxiv
SegNet 的新穎之處在於解碼器對其較低分辨率的輸入特征圖進行上采樣的方式。具體地說，解碼器使用了在相應編碼器的最大池化步驟中計算的池化索引來執行非線性上采樣。這種方法消除了學習上采樣的需要。經上采樣後的特征圖是稀疏的，因此隨後使用可訓練的卷積核進行卷積操作，生成密集的特征圖。我們將我們所提出的架構與廣泛采用的 FCN 以及眾所周知的 DeepLab-LargeFOV，DeconvNet 架構進行比較。比較的結果揭示了在實現良好的分割性能時所涉及的內存與精度之間的權衡。
SegNet 架構
關鍵點：
1、在解碼器中使用反池化對特征圖進行上采樣，並在分割中保持高頻細節的完整性
2、編碼器不使用全連接層（和 FCN 一樣進行卷積），因此是擁有較少參數的輕量級網絡
反池化
如上圖所示，編碼器中的每一個最大池化層的索引都被存儲起來，用於之後在解碼器中使用那些存儲的索引來對相應的特征圖進行反池化操作。雖然這有助於保持高頻信息的完整性，但當對低分辨率的特征圖進行反池化時，它也會忽略鄰近的信息。
3、U-Net
相應連接：
語義分割相關網絡簡述