本文旨在學習總結2D到3D人臉重建相關問題，個人水平有限，本人也是剛開始調研3D人臉重建，不足之處望大神指點改進。

目錄

• 1 什麼是3D人臉重建？
• 2 重建方法分類
• 3 通用模型3D人臉重建
• 4 3D變形模型3D人臉重建
  • 4.1 初版3DMM
  • 4.2 表情3DMM
  • 4.3 人臉重建
  • 4.4 LSFM-3DMM
  • 4.5 Nonlinear-3DMM
• 5 端到端3D人臉重建
  • 5.1 VRNet
  • 5.2 PRNet
• 6 網格優化
• 7 人臉資料庫

1 什麼是3D人臉重建？

       人臉3D重建：從一張或多張2D影象中重建出人臉的3D模型。
       3D人臉模型：
       我們可以用這樣一個表示式來建模3D人臉模型：

$$M = (S,T)$$
       其中， $S$表示人臉3D座標形狀向量（shape-vector）：
$$S = (x_1,y_1,z_1,x_2,y_2,z_2,\cdots,x_n,y_n,z_n)^T$$
        $T$表示對應點的文理資訊向量（texture-vector）：
$$T = (R_1,G_1,B_1,R_2,G_2,B_2,\cdots,R_n,G_n,B_n)^T$$
       2D的人臉圖片可以看作是3D人臉在2D平面上的一個投影， $I$ 代表 $M$的2D投影， $I(u,v)$代表畫素 $(u,v)$處的紋理值，所以3D人臉重建就是從2D圖片中計算出 $M$的估計：
$$\hat M = (\hat S,\hat T)$$
       用影象表示更為直觀：

2 重建方法分類

       在過去20年中，研究者們在3D人臉重建方面貢獻甚多，2D人臉影象到3D人臉重建方法也是多種多樣，硬要為其做個分類，大致如下圖（當然可能不太全面）：

       傳統3D人臉重建方法，大多是立足於影象資訊，如基於影象亮度、邊緣資訊、線性透視、顏色、相對高度、視差等等一種或多種資訊建模技術進行3D人臉重建。這方面的技術論文，無論國內外都相當多，也較雜亂，一時間個人也不好具體統計，總之其中也是有很多不錯的思想和方法的，當然這也不是本文重點內容。
       基於模型的3D人臉重建方法，是目前較為流行的3D人臉重建方法；3D模型主要用三角網格或點雲來表示，現下流行的模型有通用人臉模型（CANDIDE-3）和三維變形模型（3DMM）及其變種模型，基於它們的3D人臉重建演算法既有傳統演算法也有深度學習演算法。
       端到端3D人臉重建方法，是近年新起的方法；它們繞開了人臉模型，設計自己的3D人臉表示方法，採用CNN結構進行直接回歸，端到端地重建3D人臉。

3 通用模型3D人臉重建

       得到人臉的通用模型，通常有三種方法：第一種方法是採用三維掃描器獲取資料，此方法採集精度高但裝置價格昂貴；第二種方法是採用計算機圖形技術建立人臉；第三種是利用一些商業的建模軟體生成人臉通用模型，目前在市場上比較著名的人頭模型生成商業軟體有FaceGen Modeller，3D Max 和Poser7.0 等等。
       在眾多通用人臉模型中，CANDIDE-3模型是目前被學術界廣泛使用的一種通用模型，其符合MPEG-4標準中對人臉的定義。
       CANDIDE-3模型總共有113個頂點，168個面組成，可以通過對這些點和麵的操作調節形成特定的人臉，下圖為CANDIDE-3的模型展示圖：

       通用模型重建法的本質是對通用模型進行修改使得其特徵與所需要恢復的輸入影象相配，一般包括整體性調整和區域性性調整兩個方面。整體性調整主要是針對模型的輪廓，通過一定的方法如特徵點對應使得通用模型的整體佈局（如眼耳鼻眉）和輸入圖片的五官佈局儘量一致；區域性性調整指的是針對區域性細節尤其是人臉五官的微調，讓區域性細節更為精確。在進行完這兩項調整之後，再輔助以基於頂點的插值運算就可以重建人臉。通用模型法的優點是計算量較小，但其顯著缺陷就是因頂點數目過少導致對人臉輪廓的模擬和面部細節刻畫不夠細膩，故只能適用於精度要求不高的場合。

4 3D變形模型3D人臉重建

       形變模型（Morphable Model）這一名詞來源於計算機圖形學中一個名叫Morphing技術的影象生成演算法。Morphing 技術主要思想：如果兩幅影象中存在一定的對應關係，那麼就可以利用這個對應關係生成具一副有平滑過渡效果的影象。

4.1 初版3DMM

       文獻：《A Morphable Model For The Synthesis Of 3D Faces》
       在這個思想的引導下，在1999 年，瑞士巴塞爾大學的科學家Blanz 和Vetter 提出了一種十分具有創新性的方法：三維形變模型(3DMM) 。三維形變模型建立在三維人臉資料庫的基礎上，以人臉形狀和人臉紋理統計為約束，同時考慮到了人臉的姿態和光照因素的影響，因而生成的三維人臉模型精度高。
       3DMM模型資料庫人臉資料物件的線性組合，在上面3D人臉表示基礎上，假設我們建立3D變形的人臉模型由m個人臉模型組成，其中每一個人臉模型都包含相應的$S_i$，$T_i$兩種向量，這樣在表示新的3D人臉模型時，我們就可以用以下的方式：

$$S_{newModel} =\overline{S} + \sum _{i=1}^{m-1} \alpha_is_i$$
$$T_{newModel} = \overline{T} + \sum _{i=1}^{m-1} \beta_it_i$$
       其中 $\overline S$表示平均臉部形狀模型， $s_i$表示shape的PCA部分， $\alpha_i$表示對應係數；文理模型同理。
       像這樣，一張新的人臉模型就可以由已有的臉部模型線性組合。也就是說，我們可以通過改變係數，在已有人臉基礎上生成不同人臉。

4.2 表情3DMM

       初版3DMM雖然解決了人臉變形模型的表達，但其在人臉表情表達上面明顯不足，在2014年時，FacewareHouse這篇論文提出並公開了一個人臉表情資料庫，使得3DMM有了更強的表現力。從而人臉模型的線性表示可以擴充為：

$$S_{newModel} =\overline{S} + \sum _{i=1}^{m-1} \alpha_is_i + \sum _{i=1}^{n-1}\beta_i e_i$$

4.3 人臉重建

       參考文獻：https://blog.csdn.net/likewind1993/article/details/81455882
       從上面可以看出，人臉重建問題就轉向了求$\alpha$，

相關推薦