1. 程式人生 > >「Computer Vision」Note on Interactive Full Image Segmentation

「Computer Vision」Note on Interactive Full Image Segmentation

QQ Group: 428014259
Sina Weibo:小鋒子Shawn
Tencent E-mail:[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/84865335

作者:Eirikur Agustsson, Jasper R. R. Uijlings, Vittorio Ferrari
單位:Google Research

Jasper R. R. Uijlings [Google Scholar],大家可能比較熟悉,就是Selective Search的作者。

0 摘要

解決互動全圖標註任務,該任務的目標是生成所有object和stuff區域的分割圖。屬於scribble方法,即畫粗線、塗鴉。改編Mask R-CNN。在4個extreme clicks和個改正的scribbles每區域,所提出方法可提升5%IoU,接近90%的IoU。

1 介紹

提到標註成本,Cityscapes每一影象需要1.5小時,COCO+stuff每一影象需要19分鐘。提到scribble corrections比click correstions更為自然。

2 相關工作

互動全圖分割 提及Fluid Annotation

3 作者的互動分割模型

主要包含從extreme points生成分割圖,然後利用scribble corrections嵌入Mask R-CNN中,生成校正的分割圖。

3.1 模型結構

改編的Mask R-CNN,由接收單一RGB輸入,變為接收3種輸入資訊。第一種就是RGB影象,第二種就是extreme points和scribble corrections生成的標註圖,假設 S

1 , . . . , S N \text S_{1},...,\text S_{N}
,第三種就是,由extreme points決定的包圍盒box,假設 b 1 , . . . , b N \text b_{1},...,\text b_{N} 。N為標註者想要把圖分割成N個區域。

[1] Interactive Full Image Segmentation 2018 [paper]