1. 程式人生 > >論文筆記 Acquiring Common Sense Spatial Knowledge through Implicit Spatial Templates (AAAI2018)

論文筆記 Acquiring Common Sense Spatial Knowledge through Implicit Spatial Templates (AAAI2018)

這篇文章是比利時魯汶大學的一篇文章,它提出了一個新的任務:

輸入結構化的文字(主語,關係,賓語),來預測兩個物體之間的空間位置關係。

對於spatial template可以劃分:

explicit型別:比如on, below等直接的空間關係。

implicit型別:比如(man, pulling, kite) , (man, pulling, luggage)等,本文主要處理的是這種型別。

文章的方法比較直接:兩種模型(基於迴歸和基於畫素),深度網路對位置進行約束訓練。


這裡寫圖片描述

評價指標:(1)IOU (2)Regression (3)Above/below classification (4)Pixel (macro) accuracy

資料集:Vgnome篩選合適的樣例,最終∼378K instances,2,183 unique implicit Relationships and 5,614 unique objects

(i.e., Subjects and Objects).

資料集樣例:


這裡寫圖片描述

一些視覺化的例子:
這裡寫圖片描述

原文連結:Acquiring Common Sense Spatial Knowledge through Implicit Spatial Templates