就像我們可以通過質因數分解來發現整數的一些內在性質一樣(12 = 2 x 2 x 3)，我們也可以通過分解矩陣來發現表示成陣列元素時不明顯的函式性質。

矩陣分解有種方式，常見的有

• 特徵分解
• SVD 分解
• 三角分解

特徵分解

特徵分解是使用最廣泛的矩陣分解之一，即我們將矩陣分解成一組特徵向量和特徵值。方陣 A$\mathbf{A}$ 的特徵向量(eigen vector)是指一個非零向量 v$v$，這個向量與 A$\mathbf{A}$相乘後相當於對該向量進行放縮變換– 方向不變，只是大小成倍數的縮放：

Av=λv$$\mathbf{A}\mathcal{v}\mathbf{=}\lambda \mathcal{v}$$, 標量 λ$\lambda$ 被稱為這個特徵向量對應的特徵值。更準確的說，這裡的 v$v$ 是 右奇異向量 (right singular vector), 相應的我們也可以定義 左奇異向量(left singular vector)

vTA=λvT$v^T\mathbf{A}\mathbf{=}\lambda {\mathcal{v}}^{\mathbf{T}}$ 。

如果 v$v$ 是 A$\mathbf{A}$的特徵向量，那麼任何縮放後的 sv(s∈R,s≠0)$sv(s\in \mathbb{R},s\ne 0)$, 也是 A$\mathbf{A}$的特徵向量，而且 v$v$ 與 sv$sv$ 具有相同的特值。基於以上原因，我們通常只考慮單位特徵向量。

假設 矩陣 A$\mathbf{A}$ 有 n$n$ 個線性無關特徵向量 {v(1),…,v(n)}$\{v^{(1)},\dots ,v^{(n)}\}$,對應著特徵值 {λ1,…,λn}$\{{\lambda }_1,\dots ,{\lambda }_n\}$. 我們將特徵向量連線成一個矩陣，使得每一列是一個特徵向量: V=[v(1),…,v(n)]$\mathbf{V}\mathbf{=}\mathbf{[}{\mathcal{v}}^{\mathcal{(}\mathcal{1}\mathcal{)}}\mathcal{,}\dots \mathcal{,}{\mathcal{v}}^{\mathcal{(}\mathcal{n}\mathcal{)}}\mathcal{]}$.類似地，我們也可以將特徵值連線成一個向量 λ=[λ1,…,λn]T$\lambda \mathbf{=}\mathbf{[}{\lambda }_{\mathcal{1}}\mathcal{,}\dots \mathcal{,}$

λn]T,因此 A$A$的特徵分解可以記做

A=Vdiag(λ)V−1$$\mathbf{A}\mathbf{=}\mathbf{V}\mathcal{\text{diag}}\mathcal{(}\lambda \mathcal{)}{\mathcal{V}}^{\mathcal{-}\mathcal{1}}$$.

更進一步，每一個實對稱矩陣都可以分解成實特徵向量和實特徵值

A=QΛQT$$\mathbf{A}\mathbf{=}\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\mathbf{T}}$$， 其中 Q$\mathbf{Q}$ 是 A$\mathbf{A}$ 的特徵向量組成的正交矩陣，Λ$\mathrm{\Lambda }$ 是對應特徵值構成的對角矩陣。按照慣例，我們一般按降序排列 Λ$\mathrm{\Lambda }$ 的條目。

一些規定，

• 所有特徵值都是正數的矩陣被稱為正定(positive definite), ∀λi>0$\mathrm{\forall }{\lambda }_i>0$, 一個優良性質 ifxTAx=0⇒x=0$\text{if}{x}^{T}Ax=0\Rightarrow x=0$
• 所有特徵值都是非負數的矩陣被稱為半正定(positive semidefinite), ∀λi≥0$\mathrm{\forall }{\lambda }_i\ge$
  0. 一個優良性質, ∀x,xTAx≥0$\mathrm{\forall }x,x^{T}Ax\ge 0$
• 所有特徵值都是負數的矩陣被稱為 負定(negative definite)， ∀λi<0$\mathrm{\forall }{\lambda }_i<0$
• 所有特徵值都是非正數的矩陣被稱為 半負定(negative semi-definite), ∀λi≤0$\mathrm{\forall }{\lambda }_i\le 0$

如何理解特徵值和特徵向量

如果把矩陣看做運動的表徵，那麼

• 特徵向量就是運動的方向
• 特徵值就是運動的速度

如果把矩陣看做空間的基底的組合，那麼

如左圖，矩陣A$\mathbf{A}$ 有兩個標準正交的特徵向量 v(1),v(2)$v^{(1)},v^{(2)}$, 圖中藍色單位圓代表所有的單位向量 u∈R2$u\in {\mathbb{R}}^2$的集合；右圖中，藍色橢圓代表