1. 程式人生 > >3D【4】人臉重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric

3D【4】人臉重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric

該論文主要是用CNN直接重建3D人臉,而不是預測3DMM模型的引數,網路結構是漏斗網路(
HG)。論文提出了三種方案,第一種是直接從圖片重建,第二種是加入了人臉特徵點,第三種是多工(重建+人臉特徵點預測)。效果最好的是第二種方法。

值得注意的是,該論文不是直接預測頂點的x、y、z座標。而是將mesh轉成voxel,變成一個192*192*200的矩陣。這樣就比較適合CNN。我們先看看mesh和voxel的區別:下面的第一張圖是mesh,可以看出就是一個曲面;第二張是voxel,可以看出人臉是由很多個立方體構成的。
mesh.png-72.4kB

binvox.png-48.9kB

作者給出了voxel轉成obj的指令碼,執行出來是這樣的:
binvoxOBJ.png-179.6kB
這是一個封閉的曲面。這就有個問題了,由CNN預測出來的3D人臉的頂點是不固定的,也就是我們還需要進行一步對齊,將一個固定頂點的模板對齊到CNN預測出來的3D人臉。
mesh轉voxel可以用binvox這個工具。