1. Jacobian

在向量分析中, 雅可比矩陣是一階偏導數以一定方式排列成的矩陣, 其行列式稱為雅可比行列式. 還有, 在代數幾何中, 代數曲線的雅可比量表示雅可比簇：伴隨該曲線的一個代數群, 曲線可以嵌入其中. 它們全部都以數學家卡爾·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以發音為[ja ˈko bi ən]或者[ʤə ˈko bi ən].

雅可比矩陣

雅可比矩陣的重要性在於它體現了一個可微方程與給出點的最優線性逼近. 因此, 雅可比矩陣類似於多元函式的導數.

假設FF: Rn→RmRn→Rm是一個從歐式n維空間轉換到歐式m維空間的函式. 這個函式由m個實函式組成: y1(x1,…,xn), …, ym(x1,…,xn). 這些函式的偏導數(如果存在)可以組成一個m行n列的矩陣, 這就是所謂的雅可比矩陣：

⎡⎣⎢⎢⎢⎢∂y1∂x1⋮∂ym∂x1⋯⋱⋯∂y1∂xn⋮∂ym∂xn⎤⎦⎥⎥⎥⎥[∂y1∂x1⋯∂y1∂xn⋮⋱⋮∂ym∂x1⋯∂ym∂xn]

此矩陣表示為: JF(x1,…,xn)JF(x1,…,xn), 或者∂(y1,…,ym)∂(x1,…,xn)∂(y1,…,ym)∂(x1,…,xn).

這個矩陣的第i行是由梯度函式的轉置yi(i=1,…,m)表示的.

如果pp是RnRn中的一點, FF在pp點可微分, 那麼在這一點的導數由JF(p)JF(p)給出(這是求該點導數最簡便的方法). 在此情況下, 由F(p)F(p)描述的線性運算元即接近點pp的FF的最優線性逼近, xx逼近於pp:

F(x)≈F(p)+JF(p)⋅(x–p)F(x)≈F(p)+JF(p)⋅(x–p)

雅可比行列式

如果m = n, 那麼FF是從n維空間到n維空間的函式, 且它的雅可比矩陣是一個方塊矩陣. 於是我們可以取它的行列式, 稱為雅可比行列式.

在某個給定點的雅可比行列式提供了 在接近該點時的表現的重要資訊. 例如, 如果連續可微函式FF在pp點的雅可比行列式不是零, 那麼它在該點附近具有反函式. 這稱為反函式定理. 更進一步, 如果pp點的雅可比行列式是正數, 則FF在pp點的取向不變；如果是負數, 則FF的取向相反. 而從雅可比行列式的絕對值, 就可以知道函式FF在pp點的縮放因子；這就是為什麼它出現在換元積分法中.

對於取向問題可以這麼理解, 例如一個物體在平面上勻速運動, 如果施加一個正方向的力FF, 即取向相同, 則加速運動, 類比於速度的導數加速度為正；如果施加一個反方向的力FF, 即取向相反, 則減速運動, 類比於速度的導數加速度為負.

2. 海森Hessian矩陣

在數學中, 海森矩陣(Hessian matrix或Hessian)是一個自變數為向量的實值函式的二階偏導陣列成的方塊矩陣, 此函式如下：

f(x1,x2…,xn)f(x1,x2…,xn)

如果ff的所有二階導數都存在, 那麼ff的海森矩陣即：

H(f)ij(x)=DiDjf(x)H(f)ij(x)=DiDjf(x)

其中x=(x1,x2…,xn)x=(x1,x2…,xn), 即H(f)H(f)為:

⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂x21∂2f∂x2∂x1⋮∂2f∂xn∂x1∂2f∂x1∂x2∂2f∂x22⋮∂2f∂xn∂x2⋯⋯⋱⋯∂2f∂x1∂xn∂2f∂x2∂xn⋮∂2f∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥[∂2f∂x12∂2f∂x1∂x2⋯∂2f∂x1∂xn∂2f∂x2∂x1∂2f∂x22⋯∂2f∂x2∂xn⋮⋮⋱⋮∂2f∂xn∂x1∂2f∂xn∂x2⋯∂2f∂xn2]

(也有人把海森定義為以上矩陣的行列式)海森矩陣被應用於牛頓法解決的大規模優化問題.

海森矩陣在牛頓法中的應用

一般來說, 牛頓法主要應用在兩個方面, 1, 求方程的根; 2, 最優化.

1), 求解方程

並不是所有的方程都有求根公式, 或者求根公式很複雜, 導致求解困難. 利用牛頓法, 可以迭代求解.

原理是利用泰勒公式, 在x0x0處展開, 且展開到一階, 即f(x)=f(x0)+(x–x0)f′(x0)f(x)=f(x0)+(x–x0)f′(x0)

求解方程f(x)=0f(x)=0, 即f(x0)+(x–x0)f′(x0)=0f(x0)+(x–x0)f′(x0)=0, 求解x=x1=x0–f(x0)/f′(x0)x=x1=x0–f(x0)/f′(x0), 因為這是利用泰勒公式的一階展開, f(x)=f(x0)+(x–x0)f′(x0)f(x)=f(x0)+(x–x0)f′(x0)處並不是完全相等, 而是近似相等, 這裡求得的x1x1並不能讓f(x)=0f(x)=0, 只能說f(x1)f(x1)的值比f(x0)f(x0)更接近f(x)=0f(x)=0, 於是乎, 迭代求解的想法就很自然了, 可以進而推出xn+1=xn–f(xn)/f′(xn)xn+1=xn–f(xn)/f′(xn), 通過迭代, 這個式子必然在f(x∗)=0f(x∗)=0的時候收斂. 整個過程如下圖：

2), 最優化

在最優化的問題中, 線性最優化至少可以使用單純形法(或稱不動點演算法)求解, 但對於非線性優化問題, 牛頓法提供了一種求解的辦法. 假設任務是優化一個目標函式ff, 求函式ff的極大極小問題, 可以轉化為求解函式ff的導數f′=0f′=0的問題, 這樣求可以把優化問題看成方程求解問題(f′=0f′=0). 剩下的問題就和第一部分提到的牛頓法求解很相似了.

這次為了求解f′=0f′=0的根, 首先把f(x)f(x)在探索點xnxn處泰勒展開, 展開到2階形式進行近似：

f(x)=f(xn)+f′(xn)(x−xn)+f″(xn)2(x−xn)2f(x)=f(xn)+f′(xn)(x−xn)+f″(xn)2(x−xn)2

然後用f(x)f(x)的最小點做為新的探索點xn+1xn+1，據此，令：

f′(x)=f′(xn)+f″(xn)(x−xn)=0f′(x)=f′(xn)+f″(xn)(x−xn)=0

求得出迭代公式：

xn+1=xn−f′(xn)f″(xn),n=0,1,...xn+1=xn−f′(xn)f″(xn),n=0,1,...

一般認為牛頓法可以利用到曲線本身的資訊, 比梯度下降法更容易收斂（迭代更少次數）, 如下圖是一個最小化一個目標方程的例子, 紅色曲線是利用牛頓法迭代求解, 綠色曲線是利用梯度下降法求解.

在上面討論的是2維情況, 高維情況的牛頓迭代公式是：

xn+1=xn−[Hf(xn)]–1∇f(xn),n≥0xn+1=xn−[Hf(xn)]–1∇f(xn),n≥0

其中H是hessian矩陣, 定義見上. 

高維情況依然可以用牛頓迭代求解, 但是問題是Hessian矩陣引入的複雜性, 使得牛頓迭代求解的難度大大增加, 但是已經有了解決這個問題的辦法就是Quasi-Newton method, 不再直接計算hessian矩陣, 而是每一步的時候使用梯度向量更新hessian矩陣的近似.

[1. Hessian參考: Wikipedia]

[2. Newton優化法參考: 運籌學第三版 刁在筠著]