1. 正交子空間

兩個向量垂直，意味著 \(v^Tw=0\)。

兩個子空間 \(\boldsymbol V\) 和 \(\boldsymbol W\) 是正交的，如果\(\boldsymbol V\) 中的每個向量 \(v\) 都垂直於 \(\boldsymbol W\) 中的每個向量 \(w\)。

想象你處在一個房間裡，那麼地面是一個子空間 \(\boldsymbol V\)，兩面牆的交線是另一個子空間 \(\boldsymbol W\)，這兩個子空間是正交的。

兩面看起來垂直的牆不是正交的，因為它們相交於一條直線，這條直線同時存在於兩個子空間，它不可能自己垂直於自己。

兩個 \(\boldsymbol R^3\)

如果一個向量同時位於兩個正交的子空間內，那這個向量一定是零向量，只有零向量自己垂直於自己。

零向量是零空間和行空間的唯一交點，並且零空間和行空間是 \(\boldsymbol R^n\) 中正交的兩個子空間。

由 \(Ax=0\) 可得，行空間中的每個向量和零空間中的每個向量都是垂直的，因此它們是正交的子空間。

另一方面，\(A^Ty\) 是對 \(A\) 的行的線性組合，那麼有

\[x^T(A^Ty) = (x^TA^T)y = (Ax)^Ty = 0\]

即，所有 \(A\)

左零空間和列空間是 \(\boldsymbol R^m\) 中正交的兩個子空間。

2. 正交補

基本空間不僅僅是正交的，它們的維數也剛剛好。行空間的維數為 \(r\)，零空間的維數為 \(n-r\)，和為 \(n\)。列空間的維數為 \(r\)，左零空間的維數為 \(m-r\)，和為 \(m\)。

\(\boldsymbol R^3\) 空間中的兩條直線也可以是垂直的，但它們不可能是一個 3×3 矩陣的行空間和零空間。

一個子空間 \(\boldsymbol V\) 的正交補（orthogonal complement）包含所有垂直於 \(\boldsymbol V\)

的向量 ，稱為 \(\boldsymbol V^\perp\)。

由這個定義，那麼零空間 \(N(A)\) 是 \(\boldsymbol R^n\) 中行空間 \(C(A^T)\) 的正交補，左零空間 \(N(A^T)\) 是 \(\boldsymbol R^m\) 中列空間 \(C(A)\) 的正交補。

補的意思是說每個向量 \(x\)，都可以表示為行空間分量 \(x_r\) 和零空間分量 \(x_n\) 的和，那麼有：

\[Ax_n =0\]
\[Ax_r =Ax\]

所有的向量都去到了列空間，乘以 \(A\) 後沒有做其它的事情。

而且，任何列空間中的向量 \(b\) 都來自於行空間中的唯一一個向量。如果有 \(Ax_r = Ax_r'\)，那麼 \(x_r-x_r'\) 就位於零空間中，而且它也位於行空間中，所以它一定為零向量，也就是 \(x_r=x_r'\)。

3. 基和子空間

任何 \(\boldsymbol R^n\) 空間中的 \(n\) 個不相關向量一定擴充出 \(\boldsymbol R^n\) 空間，因此它們是一個基。

任何擴充出 \(\boldsymbol R^n\) 空間的 \(n\) 個向量一定是不相關的，因此它們是一個基。

如果 \(A\) 中的 \(n\) 列是不相關的，則它們擴充出 \(\boldsymbol R^n\) 空間，因此 \(Ax=b\) 是可解的。

如果 \(n\) 列擴充出 \(\boldsymbol R^n\) 空間，則它們是不相關的，因此 \(Ax=b\) 有唯一解。

獲取更多精彩，請關注「seniusen」!