1. 投影

向量 $ b = (2, 3, 4)$ 在 \(z\) 軸上和在 \(xy\) 平面上的投影是什麼，哪個矩陣能產生到一條線上和到一個平面的投影？

當 \(b\) 被投影到 \(z\) 軸上時，它的投影 \(p\) 就是 \(b\) 沿著那條線的部分。當 \(b\) 被投影到一個平面時，它的投影就是 \(b\) 在平面中的部分。

到 \(z\) 軸上的投影 \(p_1 = (0, 0, 4)\)，到 \(xy\) 平面上的投影 \(p_2 = (2, 3, 0)\)，兩個投影矩陣 \(P_1\) 和 \(P_2\) 分別為

\(P_1\) 就是選出每個向量的 \(z\) 分量， \(P_2\)

在這個例子中，\(z\) 軸和 \(xy\) 平面是正交子空間，就像地面和兩面牆的交線一樣。

除此之外，它們還是正交補的。整個空間的任意向量都可以表示為它們在兩個子空間中分量的和。

2. 到一條線上的投影

假設一條過原點的直線方向為 \(a = (a_1, a_2,\cdots, a_m)\)，我們要將點 \(b = (b_1, b_2,\cdots, b_m)\) 投影到這條直線上。

投影 \(p\) 和 \(a\) 在一條直線上，因此有 \(p = \hat xa\)，誤差 \(e = b-p = b-\hat xa\)

\[e \cdot a = 0 \to (b-\hat xa) \cdot a = 0 \to a\cdot b - \hat x a\cdot a = 0\]

因此，可求得係數 \(\hat x\) 為

\[\hat x = \frac{a\cdot b}{a\cdot a} = \frac{a^Tb}{a^Ta}\]

投影為 \(p = \hat x a = \frac{a^Tb}{a^Ta} a\)。

如果 \(b=a\)，那麼 \(\hat x = 1\)，投影還是它自己，\(Pa = a\)。 如果 \(b\perp a\)，那麼 \(\hat x = 0\)

將投影重寫為 \(p = a \hat x =a \frac{a^Tb}{a^Ta} = \frac{aa^T}{a^Ta}b\)。因此，投影矩陣 \(P = \frac{aa^T}{a^Ta}\)。

如果向量 \(a\) 變為兩倍，投影矩陣 \(P\) 不變，它還是投影到同一條直線。如果投影矩陣平方，那就是進行兩次投影，和進行一次投影是一樣的結果，因此有 \(P^2=P\)。

同時，\(I-P\) 也是一個投影矩陣，\((I-P)b = b-p = e\)。當 \(P\) 投影到一個子空間時，\(I-P\) 投影到和它垂直的另一個子空間。

3. 到子空間的投影

假設 \(n\) 個 \(\boldsymbol R^m\) 空間中的向量 \(a_1,\cdots,a_n\) 是線性不相關的，我們想找到一個線性組合 \(p=\hat x_1 a_1+\cdots+\hat x_n a_n\) 使得 \(p\) 距離一個給定向量 \(b\) 最近。

\(a_1,\cdots,a_n\) 可以看做是矩陣 \(A\) 的列，我們要找的線性組合是在矩陣 \(A\) 的列空間中。我們要找的是距離\(b\) 最近的一個組合 \(A\hat x\)，也就是 \(b\) 在列空間的投影。

同理，誤差 \(e=b-A\hat x\) 垂直於子空間，也就是垂直於子空間的所有向量。

也即

\[A^T(b-A\hat x) = 0 \to A^TA\hat x = A^Tb\]

\(A^TA\) 是一個 n×n 的矩陣，因為 \(A\) 的列是線性不相關的，所以其是可逆的。可得線性組合係數為

\[\hat x = (A^TA)^{-1}A^Tb \]

所以有，投影和投影矩陣分別為

\[p = A \hat x = A(A^TA)^{-1}A^Tb\]

\[P = A(A^TA)^{-1}A^T\]

由 \(A^T(b-A\hat x) = 0\) 可知，誤差 \(e\) 位於 \(A\) 的左零空間 \(N(A^T)\) 中，向量 \(b\) 被分為了投影 \(p\) 和誤差 \(e\) 兩部分。

\(A^TA\) 是可逆的當且僅當 \(A\) 的列是線性不相關的。

當 \(Ax=0\) 時，我們有 \(A^TAx=0\)。而當 \(A^TAx=0\) 時，我們有
\[x^TA^TAx=0 \to (Ax)^TAx = 0 \to Ax = 0\]

因此 \(A^TA\) 和 \(A\) 有著一樣的零空間，當 \(A\) 的列線性不相關時，\(A^TA\) 是一個方陣，對稱並且可逆。

獲取更多精彩，請關注「seniusen」!