1. 程式人生 > >數學基礎系列(五)----矩陣、矩陣的秩、向量、特徵值與特徵向量

數學基礎系列(五)----矩陣、矩陣的秩、向量、特徵值與特徵向量

一、矩陣

1、係數矩陣

前面學習了矩陣很多基礎知識,那麼遇到具體的線性方程組該怎麼辦呢?該怎麼轉換為矩陣來求解呢?如下圖所示,A為係數矩陣,X是未知數矩陣,B是常數矩陣。

  

2、矩陣轉置

簡單來說就是矩陣的行元素和列元素互相調換一下。

  

下面列出一些矩陣轉置常用的公式

  

這些都沒有什麼好說的,都比較好理解,要注意的是就是最後一個公式的前後的順序是不同的。

3、對稱矩陣

如果滿足$A^{T}=A$,那麼A就是對稱矩陣

  

4、逆矩陣

A為n階方陣,如果說存在n階方陣B,使得AB=BA=I(I為單位矩陣),那麼就稱A、B互為逆矩陣,記作:B=A-1

性質(前提矩陣可逆):

  

二、矩陣的秩

矩陣的秩很重要,對後面特徵值,特徵向量的理解很重要,要重點注意這個地方。

對於一個$S\times N$的矩陣:$A=\begin{bmatrix}a_{11} & a_{12} & \cdots  & a_{1n}\\ a_{21} & a_{22} & \cdots  & a_{2n}\\ \cdots  & \cdots  & \cdots  & \cdots \\ a_{s1} & a_{s2} & \cdots  & a_{sn}\end{bmatrix}$

矩陣A的每一行可以看作一個N維向量:$\alpha _{i}=(a_{i1},a_{i2},\cdots ,a_{in}),i=1,2,\cdots ,s$,所以$\alpha _{1},\alpha _{2},\cdots ,\alpha _{s}$稱作A的行向量

矩陣A的每一列也可以看作一個S維向量:$\beta _{j}=\begin{bmatrix}a_{1j}\\ a_{2j}\\ \vdots \\ a_{ij}\end{bmatrix},j=1,2,\cdots ,n$,所以$\beta _{1},\beta _{2},\cdots ,\beta _{n}$稱作A的列向量。

那麼矩陣的秩到底表示什麼呢?

比如說有一個矩陣$A=\begin{bmatrix}1 & 1 & 3 &1 \\ 0 & 2&-1  & 4\\ 0 & 0 & 0 & 5\\ 0 & 0 & 0 & 0\end{bmatrix}$

矩陣A的行向量組為:$\begin{matrix}\alpha _{1}=(1,1,3,1) &\alpha _{2}=(0,2,-1,4) \\ \alpha _{3}=(0,0,0,5) & \alpha_{4}=(0,0,0,0)\end{matrix}$

現在我們需要求這個行向量組的極大線性無關組,假設有$k_{1}\alpha _{1}+k_{2}\alpha _{2}+k_{3}\alpha _{3}=0$。具體代入如下圖所示

  

解得$k_{1}=k_{2}=k_{3}=0$,即$\alpha _{1},\alpha _{2},\alpha _{3}$線性無關。

由於矩陣裡面含有一個零向量,所以這個零向量必然和矩陣裡面其他向量線性相關,所以向量組:$\alpha _{1},\alpha _{2},\alpha _{3},\alpha _{4}$的秩為3。簡單來說,矩陣的秩就是矩陣裡面的所有向量最大的線性無關的數目。

對於列向量同理可得:$\beta _{3}=\frac{7}{2}\beta _{1}-\frac{1}{2}\beta _{2}+0\beta _{4}$,但$\beta _{1},\beta _{2},\beta _{4}$線性無關,所以向量組:$\beta _{1},\beta _{2},\beta _{3},\beta _{4}$的秩為3,綜上所述,即矩陣的行秩等於列秩。

那麼矩陣的秩到底該怎麼來理解呢?以下內容參考了知乎大神的理解:https://www.zhihu.com/question/21605094

可以對二維圖形(實際上就是代表一個矩陣)進行旋轉,比如用旋轉矩陣:$\begin{bmatrix}\cos(\theta )  &-\sin (\theta ) \\ \sin (\theta ) & \cos(\theta )\end{bmatrix}$去乘以二維圖形代表的矩陣。

  

變換後依然是二維的,所以旋轉矩陣的秩為2

在假如說通過這樣的矩陣$\begin{bmatrix}1 & -1\\ 1 & -1\end{bmatrix}$來對圖形進行旋轉。

  

變換後是一維的,所以這個旋轉矩陣的秩為1

矩陣中最大不相關向量的個數就是秩了。

舉個例子就很容易理解,大家排隊買票。如果大家互相不認識,那就會一個排一個,非常有秩序。然而,如果突然來了一個與隊伍前面的人認識的人,這個人又不自覺,非要插隊。那後面的人肯定要有意見了,說你要是這樣我前面還有認識的人呢,你插我也插,這樣整個隊伍就亂掉了,誰也買不成。

通過這個例子,可得以下結論:彼此不認識,那就不相關,就有秩序,問題就好解決;反之,彼此相關,就沒有秩序,問題就不好解決。所以,數學家們定義,矩陣中的最大的不相關的向量的個數,就叫秩,可以理解為有秩序的程度。

再比如說我們家中有很多張照片(N),但是一家只有三口(R),所以我們就把R當做矩陣的秩。

  

三、向量

1、向量的內積

設有n維向量:$x=\begin{bmatrix}x_{1}\\ x_{2}\\ \vdots \\ x_{n}\end{bmatrix}$,$y=\begin{bmatrix}y_{1}\\ y_{2}\\ \vdots \\ y_{n}\end{bmatrix}$

$[x,y]=x_{1}\times y_{1}+x_{2}\times y_{2}+\cdots +x_{n}\times y_{n}$,此時我們就把$[x,y]$叫做向量的內積(也叫點乘,注意和外積(叉乘)的區別)。

性質:

  

2、向量的長度

n維向量x的長度:$\left | x \right |=\sqrt{[x,x]}=\sqrt{x_{1}^{2}+x_{2}^{2}+\cdots +x_{n}^{2}}\geqslant 0$。特別的,當|x|=1時稱為單位向量。

齊次性:$\left | \lambda x \right |=\left | \lambda  \right |\cdot \left | x \right |$。

三角不等式:$\left | x+y \right |\leqslant \left | x \right |+\left | y \right |$。

  

3、向量的正交。

兩兩正交的非零向量組成的向量組稱為正交向量組。

若$\alpha _{1},\alpha _{2},\cdots ,\alpha _{r}$是兩兩正交的非零向量,則$\alpha _{1},\alpha _{2},\cdots ,\alpha _{r}$線性無關。

規範正交基,也叫標準正交基 

n維向量$e_{1},e _{2},\cdots ,e_{r}$是向量空間$V\subset R^{n}$中的向量。滿足:

  

則稱$e_{1},e _{2},\cdots ,e_{r}$是V的一個規範正交基。例如$e_{1}=\begin{bmatrix}1\\ 0\\ 0\\ 0\end{bmatrix},e_{2}=\begin{bmatrix}0\\ 1\\ 0\\ 0\end{bmatrix},e_{3}=\begin{bmatrix}0\\ 0\\ 1\\ 0\end{bmatrix},e_{4}=\begin{bmatrix}0\\ 0\\ 0\\ 1\end{bmatrix}$是$R^{4}$的一個規範正交基

四、特徵值與特徵向量

1、通俗理解

矩陣究竟做了什麼?假如說讓一個矩陣去乘以一個向量的話,那麼矩陣對向量既可以做拉伸也可以做旋轉,如下圖所示

  

我們先來理解為什麼叫特徵值和特徵向量,比如說有如下式子:

  

矩陣A當然是一個變換,然後這個變換的特殊之處是當它作用在特徵向量   上的時候,   只發生了縮放變換,它的方向並沒有改變,並沒有旋轉。就像 wikipedia 上經過了錯切變換的蒙娜麗莎一樣:

  

這幅圖片在水平方向沒有改變, $\begin{bmatrix}1\\ 0\end{bmatrix}$就是一個它的特徵向量,對應的特徵值是 λ = 1 。

再比如說在一次拳擊比賽中, 拳擊怎麼贏?攻擊的方向與力量,我們可以把方向當做是特徵向量,在這個方向上用了多大的力量就是特徵值。

  

2、數學定義

對於給定矩陣A,尋找一個常數λ和非零向量X,使得向量x被矩陣A作用後所得的向量AX與原向量X平行,並且滿足AX=λX,那麼這個X就是代表的特徵向量了,λ代表的就是特徵值了。

  

由所有的特徵向量組成了特徵空間

  

3、特徵向量的應用 

既然特徵值表達了重要程度且和特徵向量所對應,那麼特徵值大的就是主要資訊了,基於這點我們就可以提取各種有價值的資訊了。

  

相關推薦

數學基礎系列()----矩陣矩陣向量特徵值特徵向量

一、矩陣 1、係數矩陣 前面學習了矩陣很多基礎知識,那麼遇到具體的線性方程組該怎麼辦呢?該怎麼轉換為矩陣來求解呢?如下圖所示,A為係數矩陣,X是未知數矩陣,B是常數矩陣。    2、矩陣轉置 簡單來說就是矩陣的行元素和列元素互相調換一下。    下面列出一些矩陣轉置常用的公式    這些都沒有什麼好說的

【線性代數公開課MIT Linear Algebra】 第二十四課 特徵值特徵向量的應用——馬爾科夫矩陣傅立葉級數

本系列筆記為方便日後自己查閱而寫,更多的是個人見解,也算一種學習的複習與總結,望善始善終吧~ 馬爾科夫矩陣Markov Matrix 馬爾科夫矩陣Markov Matrix有兩個性質:所有元素大於等於0,所有矩陣的列相加等於1。 這裡性質導致一

【線性代數】矩陣向量行列式特徵值特徵向量(掌握這些概念一篇文章就夠了)

在數學領域中,線性代數是一門十分有魅力的學科,首先,它不難學;其次,它能廣泛應用於現實生活中;另外,在機器學習越來越被重視的現在,線性代數也能算得上是一個優秀程式設計師的基本素養吧? 一、線性代數的入門知識 很多人在大學學習線性代數時,國內

線性代數(六)矩陣特徵值特徵向量——特徵值特徵向量求解 矩陣對角化

本節主要知識點 1.特徵向量與特徵值的定義:A為n階方陣,x為非零向量,Ax=λx,則λ為A的特徵值,x為A的屬於特徵值的特徵向量。 2.特徵值與特徵向量的求解過程(重點) 寫出f(λ)=det(A-λI) 特徵值:計算f(λ)的全部根 特徵向量:對A的每一個特徵值

線性代數精華——矩陣特徵值特徵向量

今天和大家聊一個非常重要,在機器學習領域也廣泛使用的一個概念——矩陣的特徵值與特徵向量。 我們先來看它的定義,定義本身很簡單,假設我們有一個n階的矩陣A以及一個實數\(\lambda\),使得我們可以找到一個非零向量x,滿足: \[Ax=\lambda x\] 如果能夠找到的話,我們就稱\(\lambda\)

Machine Learning之高等數學篇(十二)☞《特徵值特徵向量

上一節呢,我們學習了《齊次與非齊次方程組解的結構定理》,這次我們續接上一節的內容,來學習下《特徵值與特徵向量》 一、特徵值與特徵向量 二、特徵值的性質 三、可對角化矩陣(非常重要) 四、正定矩陣 五、奇異矩

數學基礎系列(四)----拉格朗日乘子法行列式矩陣基礎

一、拉格朗日乘子法 1、通俗解釋 給個函式:$Z=f(x,y)$如何求出它的極值點呢?有了前面的知識,簡單來說直接求它的偏導不就OK了嗎?    那現在假如說對這個函式加上一個約束條件呢?也就說現在假如有這樣一個約束條件$2xy+2yz+2zx=S$,那該怎麼樣求出函式$Z(x,y,z)=xyz$的最大值呢

形象理解線性代數(三)——列空間零空間(核)值域特徵值特徵向量矩陣空間變換矩陣

這裡,我們還是要以 形象理解線性代數(一)——什麼是線性變換?為基礎。矩陣對向量的作用,可以理解為線性變換,同時也可以理解為空間的變換,即(m*n)的矩陣會把一個向量從m維空間變換到n維空間。 一、矩陣的列空間與矩陣的秩以及值域的關係 矩陣的列空間,其實就是矩陣的列所組成的空間。比如我們考慮

第4章 學習Shader所需的數學基礎(中)(矩陣

4.4 矩陣 不幸的是,沒有人能告訴你母體( matrix)究竟是什麼。你需要自己去發現它。一一電影《黑客帝國》(英文名: The Matrix ) 矩陣,英文名是matrix 。如果你用翻譯軟體去查

2.人工智慧數學基礎--《線性代數》--矩陣基本運算

1.同型矩陣:行數和列數都相同的兩個及以上的矩陣。 2.矩陣的加減法,數乘,乘法; 3.性質: A+B=B+A (A+B)+C=A+(B+C) 結合律:(AB)C=A(BC) 分配律: (

數學基礎系列(一)----函式極限連續性導數

為了加深在人工智慧、深度學習領域的學習,接下來會推出數學基礎系列部落格,加深自己在這領域的基礎知識。 一、函式 1、函式的定義 函式表示量與量之間的關係如:$A=\pi r^{2}$。更普遍的是用$y=f(x)$表示,其中x表示自變數,y表示因變數。函式在x0處取得的函式值$y_{0}=y\mid _{x=x

數學基礎系列(三)----第一中值定理微積分基本定理牛萊公式泰勒公式

一、第一中值定理 如果函式f(x)在閉區間[a,b]上連續,則在積分割槽間[a,b]上至少存在一個點$\xi $,使得$\int_{a}^{b}f(x)dx=f(\xi )(b-a).(a\leqslant \xi \leqslant b)$    二、微積分基本定理 積分上限函式:函式f(x)在區間[a,

【線性代數】矩陣特徵分解特徵值特徵向量(eigen-decomposition, eigen-value & eigen-vector)

就像我們可以通過質因數分解來發現整數的一些內在性質一樣(12 = 2 x 2 x 3),我們也可以通過分解矩陣來發現表示成陣列元素時不明顯的函式性質。 矩陣分解有種方式,常見的有 特徵分解 SVD 分解 三角分解 特徵分解 特徵分解是使用最廣泛的

使用QT搭建點雲顯示框架系列·基於QT的QML影象選點動態繪製十字絲功能 ,以及紋理對映

本文所有原始碼分享就看我最新的文章,歡迎各位大佬前來交流。http://blog.csdn.net/qq_30547073/article/details/79092419上一次利用QTeststream讀取了任意格式的點雲。這一次我花了一天的時間學習並實現了一個基於QML的

夯實Java基礎系列23:一文讀懂繼承封裝多型的底層實現原理

本系列文章將整理到我在GitHub上的《Java面試指南》倉庫,更多精彩內容請到我的倉庫裡檢視 https://github.com/h2pl/Java-Tutorial 喜歡的話麻煩點下Star哈 文章首發於我的個人部落格: www.how2playlife.com 從JVM結構開始談多型 Jav

數學基礎系列(六)----特徵值分解和奇異值分解(SVD)

一、介紹   特徵值和奇異值在大部分人的印象中,往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面,也很少講任何跟特徵值與奇異值有關的應用背景。   奇異值分解是一個有著很明顯的物理意義的一種方法,它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示,這些小矩陣描述的是矩陣的重要的特性。就像是

線性代數---矩陣---特徵值特徵向量

轉自:https://jingyan.baidu.com/article/27fa7326afb4c146f8271ff3.html 一、特徵值和特徵向量的定義 首先讓我們來了解一下特徵值和特徵向量的定義,如下: 特徵子空間基本定義,如下:

AI理論隨筆-對稱矩陣特徵向量特徵值

一、對稱矩陣(Symmetric Matrices)是指元素以主對角線為對稱軸對應相等的矩陣。 對稱矩陣是一個方形矩陣,其轉置矩陣和自身相等。 如果有n階矩陣A,其矩陣的元素都為實數,且矩陣A的轉置等於

三大統計相關係數:PearsonSpearman相關係數kendall等級相關係數

統計相關係數簡介     由於使用的統計相關係數比較頻繁,所以這裡就利用幾篇文章簡單介紹一下這些係數。   相關係數:考察兩個事物(在資料裡我們稱之為變數)之間的相關程度。   如果有兩個變數:X、Y,最終計算出的相關係數的含義可以有如下理解: (1)、

基於eigen計算矩陣特徵值特徵向量

有點小瑕疵,就是讀取檔案和生成檔案的位置!備註下本文是在Ubuntu系統下構建的,一些地方可能存在著差異。 1 首先是在如下的檔案下建立data.txt  這個檔案與源程式的檔案在同一個目錄下,其中data.txt的資料及其格式如下:  2 程式 #i