1. 程式人生 > >語義分割--Attention to Scale: Scale-aware Semantic Image Segmentation

語義分割--Attention to Scale: Scale-aware Semantic Image Segmentation

Attention to Scale: Scale-aware Semantic Image Segmentation
CVPR2016

針對語義分割問題,嵌入多尺度資訊是很有必要的,這裡我們提出用一個 attention mechanism 來學習每個畫素位置的 softly weight the multi-scale features

這裡寫圖片描述
attention model 學習對於不同尺度的物體賦予不同的權重

對於提取多尺度特徵,目前主要有兩種網路結構:

這裡寫圖片描述
Skip-net 和 Share-net,這裡我們認為 Share-net 能夠與 attention model 更好的結合,所以採用了 attention model

怎麼融合多尺度特徵資訊了?
這裡寫圖片描述
這裡我們首先得到權重,再根據權重來融合多尺度特徵資訊

PASCAL-Person-Part validation set
這裡寫圖片描述
E-Supv: extra supervision The ground truths are downsampled properly during training

這裡寫圖片描述

max-pooling 和 attention model 效果對比:
這裡寫圖片描述

這裡寫圖片描述

PASCAL VOC 2012 test set
這裡寫圖片描述

PASCAL VOC 2012 validation set
這裡寫圖片描述

MS-COCO validation set
這裡寫圖片描述