十六、投影矩陣和最小二乘

給出\(n\)組\(m-1\)個自變量的數據點(用\(n\times m\)大小的矩陣\(A\)表示，其中第一列均為1，代表常數項)，以及它們的真實取值(用n維列向量\(b\)表示)，現在需要用一個\(m-1\)元未知數的線性方程來擬合這組數據點。可以用非齊次線性方程組\(AX=b\)表示。

一般來說這個方程組是無解的，即\(b\notin C(A)\)，我們需要找到一個近似的\(\hat b,\hat X\)，使得\(A\hat X=\hat b\)。其中\(b_i\)是第\(i\)個數據點的真實取值，\(\hat b_i\)是第\(i\)個數據點通過擬合直線的近似取值，如下圖所示：

在第十五課已經講過，最小二乘法的損失函數是均方差函數，即：

\[\mathrm{minimize}\ \ \sum_{i=1}^m(b_i-\hat b_i)^2\]

換言之：

\[\mathrm{minimize}\ \ \|b-\hat b\|^2\]

為直觀起見，這裏的\(\mathrm{dim}C(A)=2\)，則\(b\)投影到\(C(A)\)上的向量\(\hat b\)如圖所示，顯然\(e=b-\hat b,e\perp C(A)\)，因此此時\(\|e\|=\|b-\hat b\|\)是最小的。

根據第十五節的知識，我們可以令投影矩陣\(P=A(A^TA)^{-1}A^T\)

\[\hat b=Pb=A(A^TA)^{-1}A^Tb\]

\[A\hat X=\hat b\]

上式左右同時左乘\(A^T\)：

\[A^TA\hat X=A^TA(A^TA)^{-1}A^Tb=A^Tb\]

根據這個非齊次線性方程組便可以解出\(\hat X\)，也就能得到這個擬合的直線方程了。

十七、正交矩陣和Gram-Schmidt正交化

正交矩陣和Gram-Schmidt正交化在國內的各類線代教材中都有出現，這裏不做過多贅述。

這裏值得一提的是，前\(t-1\)個線性無關向量\(\alpha_1\cdots \alpha_{t-1}\)已正交化為\(\beta_1\cdots \beta_{t-1}\)

如上圖，若已獲得兩個正交化的向量\(\beta_1,\beta_2\)，則首先將\(\alpha_3\)投射到\(C(\beta_1,\beta_2)\)得到\(\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3\)

則\(\beta_3=\alpha_3-\mathrm{Prj}_{C(\beta_1,\beta_2)}\alpha_3\)

MIT線性代數公開課學習筆記第16~20課