Descent Method for 最小化（最優化）問題（二）

先從（線性）CG 演算法說起：

（線性）CG演算法求解問題的兩種形式：
1. 線性方程 Ax=b 並且要求矩陣 A 是對稱正定矩陣。
2. 最優化問題：

minxϕ(x)=12xTAx−bTx
要求矩陣 A 對稱正定，這樣該問題是一個凸問題並且有最優解。根據最優解滿足 ∇ϕ(x)=Ax−b=0，一般記為 r(x) 。在迭代過程中，第 K 步的殘差表示為 rk=Axk−b 。

（注：向量積對列向量 X 求導運演算法則：
d(UVT)/dX=(dU/dX)VT+U(dVT/dX)
d

(UTV)/dX=(dUT/dX)V+(dVT/dX)U
則有：
d(XTA)/dX=(dXT/dX)A+(dA/dX)XT=IA+0XT=A
d(AX)/dXT=(d(XTAT)/dX)T=(AT)T=A
d(XTAX)/dX=(dXT/dX)AX+(d(AX)T/dX)X=AX+ATX

給定一個非零向量集合 {p0,p1,⋯,pn−1} 和一個對稱正定矩陣 A ，如果向量集合相對於 A 是共軛的，當且僅當 pTiApj=0,i≠j

如果向量集合是共軛的，則他們之間是相互線性獨立的。

共軛方向演算法 (Conjugate direction method) 不同於共軛梯度演算法，共軛向量提前給出。共軛梯度演算法則給出了共軛向量（方向）的計算方法。

（即假定共軛方向已知的情況下，如何計算最優化問題）

演算法描述：
1. 給定共軛方向集合 {p0,p1,⋯,pn−1} 和任意初始點 x0。
2. 計算 xk+1=xk+αkpk
3. 計算最優步長 α ：此時假定 xk 為已知量（定值），通過優化 ϕ(xk+αpk) ，求解後得到最優步長，即

αk=argmin(ϕ(xk+αpk))=argmin12(

Descent Method for 最小化（最優化）問題 （二）