課程簡介

課程筆記

1. 求取投射矩陣P

這部分主要探討如何通過一個矩陣將任意向量投射到指定超平面。
超平面通常通過basic（基）給出，即設給出的不相關基為{a1,a2,...,am}，令A=[a1,a2,...,am]，超平面就是C(A)，即A的column space（∀x,Ax∈C(A)）。
投射有兩個等價定義：設b是任意向量，b̂ 是投射後的向量，則有b̂ 在指定超平面內(b̂ ∈C(A))，並且1. b̂ 是超平面內與b距離最近的向量（歐式距離）(∀b′∈C(A),(b′−b)T(b′−b)≤(b̂ −b)T(b̂ −b)),或者 2. b−b̂ 與超平面垂直（A

通過上訴條件，可以得出以下公式:
1. b̂ =Ax for some unknown x
2. AT(b̂ −b)=0
可得
x=(ATA)−1ATb
進而
b̂ =Ax=A(ATA)−1ATb
Pb=b̂ 
最終得到
P=A(ATA)−1AT

2. 討論投射矩陣的性質

1. PT=P
2. range(P)=range(A) (因為對於任意x，Px都位於C(A)內，即C(P)=C(A)）
3. P∗P=P （超平面上的點投射到超平面上其位置不變）
4. Pb∈C(A) ∀b
5. ∀b (b−Pb)∈N(AT) （N(A)指的是A的null space，即∀
   x∈N(A) Ax=0）