第十六講 投影矩陣(Ax=b)和最小二乘法

上一講中，我們知道了投影矩陣P=A(ATA)−1AT，Pb將會把向量投影在A的列空間中。即只要知道矩陣A的列空間，就能得到投影矩陣P的匯出式。

1.投影矩陣（Ax=b無解的情形）

1.1兩個極端的例子：

1. 如果b∈C(A)，則Pb=b；
2. 如果b⊥C(A)，則Pb=0。

證明1：

Pb=A(ATA)−1ATb=A(ATA)−1ATAx=A((ATA−1)ATA)x=Ax=b
證明2：Pb=A(ATA)−1ATb=A(ATA−1)(ATb)=A((ATA−1)0=0
一般情況下，b將會有一個垂直於A的分量，有一個在A

列空間中的分量，投影的作用就是去掉垂直分量而保留列空間中的分量。

1.2一般情形

一般情況下，b將會有一個垂直於A的分量，有一個在A列空間中的分量，投影的作用就是去掉垂直分量而保留列空間中的分量。如圖：

向量b投影後，有b=e+p,p=Pb,e=(I−P)b，這裡的p是b在C(A)中的分量，而e是b在N(AT)中的分量。
可以理解為：向量b的投影在A的column space，error vector的投影在left null space上，我們知道P，可以將b 投影到p，那麼一個什麼樣的投影矩陣把b投影到了e？因為column space與left null space正交補，所以他們共同組成了整個空間，I

的column space就是整個空間，I−P就是把b投影到e的矩陣，它和P有意義的性質。

2. 最小二乘法（Ax=b）

回到上一講最後提到的例題：
我們需要找到距離圖中三個點 (1,1),(2,2),(3,2) 偏差最小的直線：y=C+Dt。

根據條件可以得到方程組 ⎧⎩⎨C+DC+2DC+3D=1=2=2，寫作矩陣形式 ⎡⎣⎢111123⎤⎦⎥[CD]=⎡⎣⎢12