1. 程式人生 > >DensePose: Dense Human Pose Estimation In The Wild(理解)

DensePose: Dense Human Pose Estimation In The Wild(理解)

0 - 背景

  Facebook AI Research(FAIR)開源了一項將2D的RGB影象的所有人體畫素實時對映到3D模型的技術(DensePose)。支援戶外和穿著寬鬆衣服的物件識別,支援多人同時識別,並且實時性良好。

1 - 思路

1.1 - 標註資料集

  對於一般的姿態識別(骨骼追蹤),能夠識別出一二十個點便可以構成一個人體姿態,但如果要構造出一個平滑的3D模型,則需要更多的關鍵點,DensePose需要336個(24個部位,每個部位14個點)。

  同時要求註釋者在標記的時候要標出被衣物掩蓋住的部位,比如寬鬆的裙子。

            

  上述工作進行之後,研究人員對每一個展開部位區域進行取樣,會獲得6個不同視角的標記圖,提供二維座標圖使標記者更直觀的判斷哪個標記是正確的。

       

  最後將平面重新組合成3D模型,進行最後一步校準。這樣下來,可以以高效準確的方式獲得準確標記的資料集。各部位錯誤率如下,可以看到在軀幹、背部和臀部存在較大誤差。

        

1.2 - 模型

1.2.1 - Fully-convolutional dense pose regression

1.2.2 - Region-based Dense Pose Regression

        

        

1.3 - 效果

2 - 參考資料

https://mp.ofweek.com/3dprint/a045673622216