http://blog.csdn.net/kongbu0622/article/details/38274999

這篇文章寫得非常好，轉自http://www.zwqxin.com/archives/shaderglsl/review-normal-map-bump-map.html

自從看完那本《數學在計算機圖形學上的應用》後，一直想好好地真正實踐一次法線貼圖/凹凸貼圖呢（以前是根據橙書弄了一下罷了）。昨天偶爾看到篇涉及BumpMap的文，正好覺得是個機會，便在網上狂找相關資料——果然，越看越覺得自己還有很多理論的地方需要弄明白呢。

說起Normal Map（法線貼圖），就會想起Bump Map（凹凸貼圖）。Bump Mapping是Blin大師在1978年提出的圖形學

1. 傳統的Bump Map

如果你對純淨的Bump Map有興趣，A Practical and Robust Bump-mapping Technique for Today's GPU應該是值得一看的論文。說Today，其實是GDC 2000的事情了，但對於傳統的Bump Map的理論是很豐富的，我是沒精力看完它啦……

那時候的Bump Map須要我們計算紋理圖上每個畫素的法線資訊，簡單的還可能做到，對複雜的紋理要搞清面光背光份量簡直要命，於是就用Height Map，在一張高度圖上記錄每個畫素對應的紋理位置的高度資訊（這個比較容易辦到，NEHE22也是這類）。看上去就是一張地形網格——這樣的話，計算每個畫素點的法線就不那麼難了。XY方向相鄰畫素的高度相減就是兩條正交的切向量，叉乘外加左/右手定則就獲得法線。或者更精確點，用八鄰域弄個邊緣檢測運算元（sobel、拉普拉斯之類 ）[影象處理裡的空間域濾波]，或者應用斜坡法([水效果Ⅲ - 抖動波] )來求切線、法線。

 2. 製作NormalMap

但是這樣還是挺麻煩的，既然都動用額外的貼圖了，何不把這些與實現無關的預處理——作為結果的法線資訊——都放進紋理裡呢？這就是Normal Map的思想起源。但是，誰來做這樣的一張法線圖呢？敲定美工了。每個畫素的RGB分別儲存該畫素對應法線的XYZ分量，只要把法線的分量由（-1，1）對映成（0，255）就可了。觀察一張法線圖，以藍色為主，是因為朝向圖面外的法線（0，0，1）都被編碼成（0，0，127）了（讀入OpenGL後即(0,0,0.5)），而圖上越紅的地方表明法線越向右，越綠的地方表明法線越向上，就可以理解了。總體來說，就是一張紫藍色的圖。怎麼做這樣的圖呢？當然最好是有一個工具，輸入原圖和高度圖後執行上述的演算法得出新圖了，事實上已經有很多這類工具了（譬如比較著名的photoshop的NV外掛Normal Map Filter，甚至不用高度channel也可[效果- -]），以下幾篇文章有詳細介紹，有興趣的可以看一看：

關於NormalMap製作的原理，更詳細的可參考此文：Normalmap原理及去除接縫

 3. 切線空間(Tangent Space)

其實這個概念前文已經提及了。每個畫素根據高度圖生成的三軸座標系，就是被稱為切線空間座標系的東西，每個畫素人手一個。可見Normal Map裡面每個畫素的法線就是定義在這個切線空間的。注意，這些法線是屬於畫素的，而不是頂點，我們平時用的法線是頂點法線，是定義在模型座標系的[亂彈OpenGL中的矩陣變換(上)] ，定義於所屬物件的唯一的區域性座標系原點之上。而這些畫素法線定義於切線座標系，其原點就在該畫素上，切線副法線在法線的垂直平面上。

（表面依然是平的，但通過攪動法線，使進入我們眼睛的光線強度不一，模擬出凹凸面漫反射的特點。圖from GDNet）

應用這些畫素法線的目的無非是計算出該畫素的OutPut顏色：col = baseColor * (amb + diffuse) + specular。這些都應該在畫素著色器（fragment shader）裡進行，因為我們要做的是針對每個畫素的處理[Shader快速複習：Per Pixel Lighting(逐畫素光照)] 。其中需要用到畫素法線的是diffuse和specular（以前是用通過頂點法線線性插值而來的normal），法線分別與光線向量、半向量作點乘得到對應因子。這個因子是個夾角cos而已，所以只要滿足畫素法線與兩個向量單位化並在同一座標系下（而無論是哪個座標系），夾角就是一定的。這樣看來，兩個選擇：
1. 把畫素法線都從各自的切線空間轉到檢視空間來，再點乘；
2.把光線向量、半向量從檢視空間轉到畫素各自的切空間來，再點乘。

很多文章一口咬定就是第2種好，原因是第1種要變換N個量；第2種只變換2個量。仔細分析，其實兩種選擇變換的次數是一樣的，都是2*N。說第2種好，是因為：

第1種必須在fragment shader裡進行，物件是從Normal Map讀出的畫素法線和經過線性插值而來的兩個向量，它們不是同一座標系的，按描述應該是各畫素法線乘以各自一個的變換矩陣，轉到檢視空間來，但確實沒有其他的可提供構築這個矩陣的資訊了，若有可能應該就是另外的varying變數傳入了；

第2種可以選擇在vertex shader裡進行，但是能不能就在這裡變換到切線空間呢？假設可以，那麼得到的針對頂點的數值在光柵化-線性插值後能否滿足呢？

要回答這個問題，還得考慮畫素的切線空間和頂點的切線空間之間的關係。是的，頂點法線也可以變換到切線空間，但這有什麼用呢？一步一步來吧。先考慮切線空間在OpenGL世界裡的次元位置：

(from paulsprojects)

為什麼是緊挨模型座標系呢？其實想想也能理解，在上面談及切線座標系的時候，並沒有廣闊的“世界”這個概念。只針對每個畫素/頂點，無疑是比模型座標系更狹隘的“世界觀”，所以那個位置是適合的（箭頭方向無所謂，座標系之間是可以相互轉換的）。其實對於某個具體的物體上的畫素/頂點，你可以考慮那是把模型空間的原點平移到該畫素/頂點上，各模型座標系方向軸向量一起經過旋轉，使Z軸與畫素/頂點的法線重合，XY軸分別與畫素/頂點的切線副法線重合——這只是一個仿射變換而已，如同模型/世界/檢視空間之間的變換一樣。

如果你記得圖形學書上關於世界/檢視空間的變換矩陣的構建的話，就更容易理解這樣的形式了。從切線空間到模型空間的變換矩陣（TBN矩陣M_TBN）為：

 其中T，B，N是定義在模型空間的該畫素/頂點的“切/副法/法向量”。稍微檢驗一下，考慮某個三角面上的某個頂點，其法線充當切線空間的Z軸，在切線空間中表示為（0，0，1），在OpenGL裡解釋為一個列向量（0，0，1）^T，用上面的矩陣M_TBN左乘該向量，得到（N_x，N_y，N_z）^T，正是該向量在模型空間的表示。其他兩軸同理。說明該矩陣把切線空間的座標系統轉換到模型空間了（一切變換都是在變換座標系[亂彈OpenGL中的矩陣變換(上)] ）。當然這是特例說明，但確實這個矩陣包含仿射矩陣裡的旋轉元素了（它只包含旋轉，不設定平移，是因為我們只需要它來變換向量，向量是可以任意平移的，若要弄完整的4X4矩陣，第4列平移列就是該頂點模型座標）。具體推導也不難，隨便Google一下"tangent space"就出來一堆了，而且都是基本一樣的推導過程，推一個：Tangent Space。

其逆變換（矩陣M_TBN^-1）就可以把向量從模型空間變換到對應頂點的切線空間了。如果你確保T，B，N兩兩垂直，這個正交矩陣的逆矩陣就是其轉置矩陣，這很理想。但萬一你不確保這點（涉及到具體應用，很多問題的，後面會說），就保證它們大致滿足三叉狀，用所謂的Gram-Schmidt 演算法矯正：

T′ = T − (N · T)N
B′ = B − (N · B)N − (T′ · B)T′

反正最後得到的是這樣的形式——用它左乘光源向量和半向量，就得到對應於該頂點切線空間的光源向量和半向量了：

為什麼是頂點？因為這是你唯一能取得其切線/副法線/法線的東西了。這也是之前說的選擇1不行的原因，在那張Normal Map裡面已經沒有任何法線副法線的確實資訊了（只知道它們在法線垂直平面上），即使能通過別的方法取得（起碼要增加傳入資料），那要在fragment shader裡每畫素人手又計算一個矩陣，這就又是一個“計算量”（不是次數）的問題。所以還是用選擇2吧，也就是上面矩陣M_TBN^-1的討論。

選擇2的第一個問題現在很清楚了：是可以的。只要取得頂點的切線/副法線/法線資料就能建立矩陣並變換光源向量和半向量，但結果是針對頂點的，我們需要的是針對畫素的。光柵化線性插值這兩個向量，就是對應畫素的值，但這對嗎？直覺上不對，但結果顯示這樣做沒有不妥（或者說不會與真實所須差太多）。一般文章都沒有直接透視這個問題，其實考慮一個矩形平面就露餡了，它四個頂點的TBN一致，變換得的光源向量也該一致，插值後得光源向量也該一致，但NormalMap中的畫素有各自不同的切線空間系統，光源向量不該一致的呃（雖則同向光源、不同法線足夠形成凹凸效果）。所以我對選擇2的第二個問題保持疑問，有道深者請為鄙人指點迷津！

反正即使計算兩向量夾角的計算可能會有偏差，也不會太離譜，問題到此結束。至於有的文章提及對diffuse的計算，光源向量插值後不須再歸一化的問題（我嘗試過，整體會變暗一點），就不深入了。注意我們在vertex shader裡變換到切線空間的是模型空間下的光源向量和視線向量（半向量是它們的和），而一般這兩個向量定義在檢視空間，所以之前還要做一個檢視空間->模型空間的變換（用ModelView矩陣的逆矩陣）。這是很多文章囫圇掉的一點。但如果你能取得檢視空間下的頂點TBN，也不需。因為切線/副法線/法線若是被變換到檢視空間，則上面的TBN矩陣M_TBN就是把東西從該頂點的切線空間變換到檢視空間（道理是一樣的），M_TBN^-1就能把檢視空間下的這兩個向量變換到該頂點的切線空間（參見下篇的程式碼）。

 最後的問題：怎麼去取得模型空間下的頂點的切線，副法線，法線？連同shader實現程式碼一起，我會在下篇談及，請留意了哦。