矩陣可以認為是一種線性變換，如果將這種線性變換放在幾何意義上，則他的作用效果和基的選擇有關。

以Ax = b為例，x是m維向量，b是n維向量，m,n可以相等也可以不相等，表示矩陣可以將一個向量線性變換到另一個向量，這樣一個線性變換的作用可以包含旋轉、縮放和投影三種類型的效應。

比如說：

A=[3001][xy]=[3xy]
其幾何意義為在水平x方向上拉伸3倍，y方向保持不變的線性變換，這就是縮放；而如果前面乘的矩陣不是對稱矩陣，那麼則對應幾何意義上的縮放加旋轉。
奇異值分解正是對線性變換這三種效應的一個析構。A=μΣσ，μ和σ是兩組正交單位向量，Σ是對角陣，對角值s表示奇異值，它表示我們找到了μ和σ這樣兩組基，A矩陣的作用是將一個向量從σ這組正交基向量的空間旋轉到μ這組正交基向量空間，並對每個方向進行了一定的縮放（乘個縮放因子），縮放因子就是各個奇異值，然後再在μ旋轉回去。如果σ維度比μ大，則表示還進行了投影。可以說奇異值分解將一個矩陣原本混合在一起的三種作用效果，分解出來了。

而特徵值分解其實是對旋轉縮放兩種效應的歸併。（有投影效應的矩陣不是方陣，沒有特徵值）特徵值，特徵向量由Ax=λx得到，它表示如果一個向量v處於A的特徵向量方向，那麼Av對v的線性變換作用只是一個縮放。也就是說，求特徵向量和特徵值的過程，我們找到了這樣一組基，在這組基下，矩陣的作用效果僅僅是存粹的縮放。對於實對稱矩陣，特徵向量正交，我們可以將特徵向量式子寫成A=xλx^T

，這樣就和奇異值分解類似了，就是A矩陣將一個向量從x這組基的空間旋轉到x這組基的空間，並在每個方向進行了縮放，由於前後都是x，就是沒有旋轉或者理解為旋轉了0度。
總而言之，特徵值分解和奇異值分解都是給一個矩陣(線性變換)找一組特殊的基，特徵值分解找到了特徵向量這組基，在這組基下該線性變換隻有縮放效果。而奇異值分解則是找到另一組基，這組基下線性變換的旋轉、縮放、投影三種功能獨立地展示出來了。
又因為有投影效應的矩陣不是方陣，沒有特徵值，所以奇異值分解可以適用於所有矩陣，但特徵值分解就僅僅適用於方陣了。