轉載地址：http://blog.csdn.net/sunshine_in_moon/article/details/45749691

本文轉自知乎大牛。 
從定義出發，Ax=cx：A為矩陣，c為特徵值，x為特徵向量。 
矩陣A乘以x表示，對向量x進行一次轉換（旋轉或拉伸）（是一種線性轉換），而該轉換的效果為常數c乘以向量x（即只進行拉伸）。 
我們通常求特徵值和特徵向量即為求出該矩陣能使哪些向量（當然是特徵向量）只發生拉伸，使其發生拉伸的程度如何（特徵值大小）。這樣做的意義在於，看清一個矩陣在那些方面能產生最大的效果（power），並根據所產生的每個特徵向量（一般研究特徵值最大的那幾個）進行分類討論與研究。

更新與2015.12.02 今天無意中看到了這篇介紹，感覺講的很清晰，特與大家分享！ 
連線：http://jingyan.baidu.com/article/3065b3b68c6bb6becff8a488.html 
大學中都學過矩陣，是不是矩陣感覺很抽象，晦澀難懂，和生活實際掛不上邊，其中矩陣有一個叫特徵向量的東西，只要學過矩陣的，都會求它，但是他是做什麼的，書本上卻沒說，只是說相當有用，但是在何處用，大家只能說 I do not know ,這裡給大家說明下，特徵向量的幾何意義，讓大家一目瞭然 

工具/原料 
紙 
筆 
記得帶著腦子哦 
方法/步驟 
如果說一個向量v是方陣A的特徵向量，將一定可以表示成下面的形式： 

這時候λ就被稱為特徵向量v對應的特徵值，一個矩陣的一組特徵向量是一組正交向量。特徵值分解是將一個矩陣分解成下面的形式： 

其中Q是這個矩陣A的特徵向量組成的矩陣，Σ是一個對角陣，每一個對角線上的元素就是一個特徵值。首先，要明確的是，一個矩陣其實就是一個線性變換，因為一個矩陣乘以一個向量後得到的向量，其實就相當於將這個向量進行了線性變換。比如說下面的一個矩陣： 

它其實對應的線性變換是下面的形式： 

因為這個矩陣M乘以一個向量(x,y)的結果是： 

上面的矩陣是對稱的，所以這個變換是一個對x，y軸的方向一個拉伸變換（每一個對角線上的元素將會對一個維度進行拉伸變換，當值>1時，是拉長，當值<1時時縮短），當矩陣不是對稱的時候，假如說矩陣是下面的樣子： 

它所描述的變換是下面的樣子： 

這其實是在平面上對一個軸進行的拉伸變換（如藍色的箭頭所示），在圖中，藍色的箭頭是一個最主要的變化方向（變化方向可能有不止一個），如果我們想要描述好一個變換，那我們就描述好這個變換主要的變化方向就好了。反過頭來看看之前特徵值分解的式子，分解得到的Σ矩陣是一個對角陣，裡面的特徵值是由大到小排列的，這些特徵值所對應的特徵向量就是描述這個矩陣變化方向（從主要的變化到次要的變化排列） 

當矩陣是高維的情況下，那麼這個矩陣就是高維空間下的一個線性變換，這個線性變化可能沒法通過圖片來表示，但是可以想象，這個變換也同樣有很多的變換方向，我們通過特徵值分解得到的前N個特徵向量，那麼就對應了這個矩陣最主要的N個變化方向。我們利用這前N個變化方向，就可以近似這個矩陣（變換）。也就是之前說的：提取這個矩陣最重要的特徵。總結一下，特徵值分解可以得到特徵值與特徵向量，特徵值表示的是這個特徵到底有多重要，而特徵向量表示這個特徵是什麼，可以將每一個特徵向量理解為一個線性的子空間，我們可以利用這些線性的子空間幹很多的事情。不過，特徵值分解也有很多的侷限，比如說變換的矩陣必須是方陣。 
 
注意事項 
最後一個條是關鍵，一定要仔細看

在此基礎上理解PCA就方便了許多。