1. 程式人生 > >MIT 線性代數導論 第十四講:正交向量和子空間

MIT 線性代數導論 第十四講:正交向量和子空間

第十三講是第一部分(主要是線性代數的基礎知識,四個子空間的關係)的複習課,所以沒有做記錄

本講的主要內容:

  • 向量正交的定義以及證明方法
  • 子空間正交的概念以及關於行空間、零空間的一些結論

向量正交

兩個向量正交的概念很直觀,就是:兩個向量的夾角為90°
線上性代數中,上述定義可以表述為:
對於向量 xxyyxTy=0x^{T}y = 0

對於上式的證明,我們可以通過勾股定理來理解,這裡要用到一個正規化的概念,其實簡單理解就是向量的長度:公式如下:
x2+y2=x+y2 \left \| x \right \|^{2} + \left \| y \right \|^{2} = \left \| x+y \right \|^{2}


x2=xTx \left \| x \right \| ^{2} = x^{T}x
可以理解為勾股定理中兩直角邊平方之和等於斜邊平方,接下來將第二個式子代入第一個式子,化簡過程如下:
xTx+yTy=(x+y)T(x+y)=xTx+xTy+yTx+yTy x^{T}x + y^{T}y = (x+y)^{T}(x+y) = x^{T}x+x^{T}y + y^{T}x + y^{T}y
其中 xTyx^{T}yyTxy^{T}x 相等,所以最終得證。

此外,根據向量正交的概念,零向量與所有的向量均正交

子空間正交

接下來將正交的概念推廣到空間,兩個空間 SSTT 正交,表示:
任意 SS 中的向量均與任意 TT 中的向量正交
所以,不要理解為類似兩個平面垂直是正交之類的。。

下面回到線性方程組,討論行空間以及零空間是否正交?答案是 是的,將 Ax=0Ax=0 展開(以3個方程為例):
(row1row2row3)(x1x2x3)=(000) \begin{pmatrix} row1\\ row2\\ row3 \end{pmatrix}\begin{pmatrix} x_{1}\\ x_{2}\\ x_{3} \end{pmatrix}= \begin{pmatrix} 0\\ 0\\ 0 \end{pmatrix}

分析上式,可以得知:row1x=0row1x=0 等等,符合向量正交的條件,以此類推,所有的行空間的向量都與零空間的向量正交,所以結論正確(上面的式子可以多個相加沒有問題,所以行向量的線性組合也符合正交)

對於類似行空間與零空間的一對空間,稱為正互動補空間(complements)

如何“解”無解的方程Ax=b

這個地方的解是指在一些情況下,會因為一些值的影響使得方程組無解,這時候我們就需要對方程進行一些處理,這個操作就是將矩陣 AA 變為 ATAA^{T}A,之前提到過這個矩陣,我們瞭解到這個矩陣是一個方陣,並且對稱,這時候 Ax=bAx=b 也就變為 ATAx=ATbA^{T}Ax = A^{T}b.
關於這個新的矩陣,有一下結論:

  • rank(ATA)=rank(A)rank(A^{T}A) = rank(A)
  • N(ATA)=N(A)N(A^{T}A) = N(A)
  • ATAA^{T}A 只有在 N(A)N(A) 只有零空間的時候才可逆
    上述結論在之後的學習中會具體證明

以上~