線性代數基礎（矩陣、範數、正交、特徵值分解、奇異值分解、跡運算）

阿新 • • 發佈：2018-12-21

基礎概念

標量：一個標量就是一個單獨的數字
向量：一個向量就是一列數字
矩陣：一個矩陣就是一個二維陣列
張量：超過兩維的陣列，一個數組的元素分佈在若干維座標系中

矩陣轉置

矩陣左上角到右下角的對角線被稱作主對角線，以主對角線為軸的映象稱作矩陣的轉置。

矩陣 $A$ 的轉置表示為 $A^T$ ：

$(A^T)_{i,j}=A_{j,i}$

$(AB)^T=B^TA^T$

對角矩陣

$diag(v)$ 表示一個對角元素由向量 $v$ 中元素給定的對角矩陣。

對角矩陣除了主對角線上的元素外，其餘元素都為零。

線性相關

一組向量的生成子空間，是原始向量線性組合後所能抵達的點的集合。

如果一組向量中，任意一個向量都不能表示成其他向量的線性組合，那麼這組向量就是線性無關的。

如果一組向量中，存在一個向量可以表示成其他向量的線性組合，那麼這種冗餘被稱為線性相關。

範數

範數可以衡量向量的大小，範數是將向量對映到非負值的函式， $L^p$ 定義如下：

$\left\|x\right\|_p=(\sum_{i}\left|x_i\right|^p)^{\frac{1}{p}}$

$L^2$ 的範數被稱為歐幾里得範數，平方 $L^2$ 可以通過 $x^Tx$ 求得。

$L^\infty$ 範數被稱為最大範數，表示向量中具有最大幅值的元素的絕對值：

$\left\|x\right\|_\infty=\max_i\left|x_i\right|$

Frobenius 範數，可以衡量矩陣的大小：

$\left\|A\right\|_F=\sqrt{\sum_{i,j}A_{i,j}^2}$

兩個向量的點積可以用範數表示：

$x^Ty=\left\|x\right\|_2\left\|y\right\|_2\cos{\theta}$

正交

如果 $x^Ty=0$ ，那麼向量 $x$ 和向量 $y$

互相正交。

如果兩個向量不僅正交，而且範數都為 $1$ ，那麼稱他們為標準正交。

正交矩陣是指行向量和列向量是分別標準正交的方陣。

特徵值分解

方陣 $A$ 的特徵向量是指與 $A$ 相乘後等於該向量進行縮放的非零向量 $v$ ， $\lambda$ 稱為特徵值：

$Av=\lambda v$

將所有線性無關的特徵向量按列組成一個矩陣 $V$ ，特徵值組成一個向量 $\lambda$ ，則滿足 $A$ 的特徵分解：

$A=Vdiag(\lambda)V^{-1}$

所有特徵值都是正數的矩陣被稱為正定。

所有特徵值都是非負數的矩陣被稱為半正定。

所有特徵是都是負數的矩陣被稱為負定。

所有特徵值都是非正數的矩陣被稱為半負定。

奇異值分解

奇異值分解（SVD）將矩陣分解成奇異向量和奇異值。

每一個實數矩陣都有一個奇異值分解，但不一定有特徵值分解。

假設 $A$ 是一個 $m\times n$ 矩陣， $U$ 是一個 $m\times m$ 矩陣， $\Sigma$ 是一個 $m\times n$ 矩陣， $V$ 是一個 $n\times n$ 矩陣：

$A=U\Sigma V^T$

$U$ 和 $V$ 都是正交矩陣， $\Sigma$ 是對角矩陣。

$\Sigma$ 對角線上的元素稱為奇異值， $U$ 的列向量稱為左奇異向量， $V$ 的列向量稱為右奇異向量。

左奇異向量是 $AA^T$ 的特徵向量。

右奇異向量是 $A^TA$ 的特徵向量。

非零奇異值是 $A^TA$ 或者 $AA^T$ 特徵值的平方根。

Moore-Penrose 偽逆

對於非方矩陣而言，其逆矩陣沒有定義，可以採用偽逆計算：

$A^{+}=\lim_{\alpha\rightarrow 0}(A^TA+\alpha I)^{-1}A^T=V\Sigma^{+}U^T$

其中， $U\ \Sigma\ V$ 是奇異值分解後的矩陣， $\Sigma^{+}$ 是 $\Sigma$ 的非零元素取倒數之後再轉置得到的。

跡運算

跡運算返回矩陣對角線元素之和：

$Tr(A)=\sum_iA_{i,i}$

Frobenius 範數，也可表示為：

$\left\|A\right\|_F=\sqrt{\sum_{i,j}A_{i,j}^2}=\sqrt{Tr(AA^T)}$

跡運算滿足一些性質：

$Tr(ABC)=Tr(CAB)=Tr(BCA)$

$Tr(AB)=Tr(BA)$

行列式

行列式 $\det(A)$ 等於矩陣特徵值的乘積。

行列式的絕對值可以用來衡量矩陣參與乘法後空間擴大或者縮小了多少。

如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心的~

深度學習/機器學習入門基礎數學知識整理（一）：線性代數基礎，矩陣，範數等

前面大概有2年時間，利用業餘時間斷斷續續寫了一個機器學習方法系列，和深度學習方法系列，還有一個三十分鐘理解系列（一些趣味知識）；新的一年開始了，今年給自己定的學習目標——以補齊基礎理論為重點，研究一些基礎課題；同時逐步繼續寫上述三個系列的文章。最近越來越多的

線性代數基礎（矩陣、範數、正交、特徵值分解、奇異值分解、跡運算）

目錄基礎概念矩陣轉置對角矩陣線性相關範數正交特徵值分解奇異值分解跡運算行列式如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心的~ 基礎概念標量：一個標量就是一個單獨的數字向量：一個向量就是一列數字矩

機器學習之線性代數基礎一矩陣乘法、秩、特徵值、特徵向量的幾何意義

寫篇文章把自己對矩陣的理解記錄一下，有不對的地方歡迎指正。為簡單、直觀、視覺化起見，我們只以簡單的二維和三維空間為例。高維空間也是同樣的道理，只是不能視覺化，只能通過數學公式來證明。 1. 矩陣乘法矩陣乘法來源於線性方程組的求解，為了方便起見，

線性代數複習四——矩陣的維數和秩

說明：以後前一部分主要講各種定義以及定理，用題目對定理來進行說明則放到後一板塊定義：中的一個子空間是中的集合H，具有以下三個性質： a. 零向量屬於H b. 對H 中的任何向量u和v，u+v屬

人工智慧必備數學基礎：線性代數基礎（1）

如果需要小編其他數學基礎部落格，請移步小編的GitHub地址　　傳送門：請點選我　　如果點選有誤：https://github.com/LeBron-Jian/DeepLearningNote 　　這裡我打算再補充一下關於線性代數的基礎。　　（注意：目前自己補充到的所有知識點，均按照自己網課

人工智慧必備數學基礎：線性代數基礎（2）

如果需要小編其他數學基礎部落格，請移步小編的GitHub地址　　傳送門：請點選我　　如果點選有誤：https://github.com/LeBron-Jian/DeepLearningNote 　　這裡我打算補充一下機器學習涉及到的一些關於特徵值和特徵向量的知識點。　　（注意：目前自己補充到的所有知識點

矩陣分解：奇異值分解（SVD）詳解

SVD分解 SVD分解是淺層語義分析（LSA）的數學基礎，本文是我的LSA學習筆記的一部分，之所以單獨拿出來，是因為SVD可以說是LSA的基礎，要理解LSA必須瞭解SVD，因此將LSA筆記的SVD一節單獨作為一篇文章。本節討論SVD分解相關數學問題，一個分為3個部分，第

機器學習的數學基礎 - 特征分解與奇異值分解

src ron 特征技術 ima 基礎 bsp posit pos 特征分解奇異值分解(Singular Value Decomposition, SVD) 機器學習的數學基礎 - 特征分解與奇異值分解

矩陣的特徵值分解與奇異值分解的幾何意義

1、首先，矩陣可以認為是一種線性變換：確定了定義域空間與目標空間的兩組基，就可以很自然地得到該線性變換的矩陣表示。即矩陣A可以通過Ax=b將一個向量x線性變換到另一個向量b，這個過程中，線性變換的作用包

矩陣特徵值分解與奇異值分解含義解析及應用

此文有一半轉載自他出，主要在這進行個整理，具體內容文中都有相關的轉載連結。特徵值與特徵向量的幾何意義矩陣的乘法是什麼，別隻告訴我只是“前一個矩陣的行乘以後一個矩陣的列”，還會一點的可能還會說“前一個矩陣的列數等於後一個矩陣的行數才能相乘”，然而，這裡卻會和你說——那都是表象。

數學基礎系列(六)----特徵值分解和奇異值分解(SVD)

一、介紹　　特徵值和奇異值在大部分人的印象中，往往是停留在純粹的數學計算中。而且線性代數或者矩陣論裡面，也很少講任何跟特徵值與奇異值有關的應用背景。　　奇異值分解是一個有著很明顯的物理意義的一種方法，它可以將一個比較複雜的矩陣用更小更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性。就像是

線性代數基礎知識（二）——運算和性質【轉載】

這樣的寫作 9.png 改變通過內容你會列空間根據 3 運算和性質在這一節中，我們將介紹幾種矩陣/向量的運算和性質。很希望這些內容可以幫助你回顧以前知識，這些筆記僅僅是作為上述問題的一個參考。 3.1 單位矩陣與對角矩陣單位矩陣，記作I ∈ Rn×n，

Unity學習（三）Unity Shader入門（基礎知識篇）+線性代數複習（未完待續）

至於為什麼剛建立了指令碼，現在就要做Shader了。。說多了都是淚 1.建立一個新的材質 Material Assert -> Create -> Material 拖到Scene中的某個物體上 2.建立一個新的Shader Assert -> Create -

深度學習框架Keras學習系列（一）：線性代數基礎與numpy使用（Linear Algebra Basis and Numpy）

又開一個新坑~~ 因為確實很有必要好好地趁著這個熱潮來研究一下深度學習，畢竟現在深度學習因為其效果突出，熱潮保持高漲不退，上面的政策方面現在也在向人工智慧領域傾斜，但是也有無數一知半解的人跟風吹捧，於是希望藉此教程，讓自己和讀者一起藉助keras，從上到下逐漸

【線性代數公開課MIT Linear Algebra】第二十四課特徵值與特徵向量的應用——馬爾科夫矩陣、傅立葉級數

本系列筆記為方便日後自己查閱而寫，更多的是個人見解，也算一種學習的複習與總結，望善始善終吧~ 馬爾科夫矩陣Markov Matrix 馬爾科夫矩陣Markov Matrix有兩個性質：所有元素大於等於0，所有矩陣的列相加等於1。這裡性質導致一

線性代數教程之一——矩陣乘法計算、理解及程式碼實現

參考了《深度學習》鉅作，以下是矩陣篇的目錄。 1 矩陣的乘法設矩陣A為m×n矩陣，B為n×p矩陣，則它們的乘法公式為：相關程式碼實現： # 矩陣滴乘法運算 # 注意：需要傳入np.matrix型別資料 def Matrix_Mul(a,b):

什麽是矩陣的範數【轉載】

log 一次函數絕對值半徑領域理解思維 tro 函數在介紹主題之前，先來談一個非常重要的數學思維方法：幾何方法。在大學之前，我們學習過一次函數、二次函數、三角函數、指數函數、對數函數等，方程則是求函數的零點；到了大學，我們學微積分、復變函數、實變函數、泛函等。我

【高斯消元】CDOJ1785 曜醬的線性代數課堂（三）

++i for cnblogs mes swa eps mem else 正在高斯消元求行列式板子。 #include<cstdio> #include<cmath> #include<algorithm> #include

【高斯消元】CDOJ1783 曜醬的線性代數課堂（一）

turn abs swap size wap n) memset efi 高斯高斯消元求逆矩陣板子。 #include<cstdio> #include<cmath> #include<algorithm> #include

【高斯消元】CDOJ1784 曜醬的線性代數課堂（二）

cst %d can cstring 課堂 esp 線性 memset () 高斯消元求矩陣秩板子。 #include<cstdio> #include<cmath> #include<algorithm> #include&

線性代數基礎（矩陣、範數、正交、特徵值分解、奇異值分解、跡運算）

目錄

基礎概念

矩陣轉置

對角矩陣

線性相關

範數

正交

特徵值分解

奇異值分解

Moore-Penrose 偽逆

跡運算

行列式

相關推薦