1. 程式人生 > >【線性代數公開課MIT Linear Algebra】 第二課 矩陣與高斯消元

【線性代數公開課MIT Linear Algebra】 第二課 矩陣與高斯消元

本系列筆記為方便日後自己查閱而寫,更多的是個人見解,也算一種學習的複習與總結,望善始善終吧~

1. Gauss Elimination 高斯消元

還是從線性方程組談起,對於以下方程組:
這裡寫圖片描述
對其求解,我們使用高斯消元法

想辦法消掉第二個與第三個方程中的x,還有第三個方程的y,使得第三個方程只留下一個未知數z,代入第二個只有yz的方程得到y,再重複以上過程代入第一個方程得出x(從小到大數學老師教的方法,是的,這叫高斯消元法),這裡需要認識到的是——從矩陣角度來看,我們在求解Ax=b

那麼這個過程放在矩陣下看就是這樣
這裡寫圖片描述
這裡我們的目的就是使得矩陣A成為U這樣上三角upper triangular的形式。
每一步畫框的數即為pivot(翻譯成”主元”還是”模板”?算了,隨意吧),我們每次都是根據選定的pivot來做運算使得pivot所在列下方的元素變為0

,運算的過程使用行運算。這裡行列式determinant的值為125=10

當pivot的值為0時,我們可以交換兩行使得pivot不為零。

那麼將矩陣化簡為上三角形式的這個過程有什麼用處呢?試著把b加到A中,獲得增廣矩陣,對其重現剛才的操作得到Uc
增廣矩陣
寫回方程形式,很容易得出解:
這裡寫圖片描述

2. 以矩陣運算來描述高斯消元

將剛才高斯消元的步驟用矩陣運算的形式寫出來(對矩陣乘法有疑惑可以先看<3.新視角看矩陣乘法>):

EA 代表的就是剛才消元過程中的行運算,即行與行之間乘係數/相減這樣的操作可以寫成矩陣形式,這樣的矩陣我們稱之為初等矩陣elementary matrix
同理:
這裡寫圖片描述


E21E32這二個矩陣代表的就是剛才消元的兩個階段:
這裡寫圖片描述
用這個方法可以將剛才高斯消元的每一步用矩陣運算的形式描述出來,這樣做的好處在於我們可以將這個過程寫成矩陣連乘的形式:
這裡寫圖片描述
對於矩陣乘法,結合律有效:E32(E21A)=(E32E21)A=EA=U這意味著問題變成了如何找到一個矩陣E 使得EA=U矩陣E就是一堆初等矩陣elementary matrix的積。

引申:我要如何才能由U變回A呢?由此引入矩陣的逆,即我們知道EA=U,那麼有矩陣S使得SU=A,矩陣S即為矩陣E的逆。

3. 新視角看矩陣乘法

對於矩陣乘法,學校裡都教過了,但這裡老師的方法略有不同:

從列向量column vector角度

這裡寫圖片描述
首先我們將矩陣中的三列column看成是三個列向量column vector,矩陣乘法就可以被當做三個列向量分別乘以三個係數的和。

從行向量row vector角度

這裡寫圖片描述
首先我們將矩陣中的三行row看成是三個行向量row vector,矩陣乘法就可以被當做三個行向量分別乘以三個係數的和。

從行向量和列向量角度觀察,我們可以更為直觀的理解為什麼行運算列運算可以被寫為矩陣乘法的形式

矩陣乘法表示實現行/列互換

當pivot為0時,我們需要對行進行交換,這一個過程也可以用矩陣乘法描述:
這裡寫圖片描述
Tip:
矩陣乘法適用於結合律不適用交換律