一、問題

• 主方向的概念是什麽？為什麽降低維度的方法是使方差最大化？
• 假設某兩個特征之間成線性關系，在二維平面上的表示就是數據點呈線性分布，那麽可以通過將數據在主方向上進行投影，得到一個一維的數據，這個一維的數據保留了原始數據大部分的信息.
• 兩個特征之間成線性關系，但是由於一些噪聲的影響，所以數據分布並不嚴格處在一條直線上面。所謂的主方向就是要找到一個向量使得這個向量和預想中的直線大致符合。然後這樣的一個向量應該滿足什麽要求呢？**顯然，應當使得所有的數據點到這個向量（直線）的距離總和最小，在數學表達上的體現就是盡可能使得每個點和主方向向量的協方差$x^{T}*u / m$最大，因為協方差變大時，x和u越正相關，那麽x自然就距離直線更近。（有疑問）**
• 因為假定兩個特征之間成線性關系，那麽數據的分布肯定也大致符合一條直線，因此當各個數據投影到這條直線上時，數據的離散程度比其他情況更大，換言之就是數據的方差最大。所以使方差最大化可以找到所需要的向量。
• 通過拉格朗日方法求解，可知向量u即為$\sum $矩陣的特征向量，假設需要降維到k惟，那麽就要選擇特征值大的前k的特征向量。而為什麽選用特征值大的向量？因為特征值越大，說明對應的特征向量代表了這個矩陣的主要特征（主要方向）。
• 解出來的特征向量個數為多少？如何知道k的具體大小？
• $\sum $矩陣為實對稱矩陣，因此特征向量兩兩正交，且特征向量個數一定有n個。

二、奇異值分解

• 奇異值分解的含義是，把一個矩陣A看成線性變換（當然也可以看成是數據矩陣或者樣本矩陣），那麽這個線性變換的作用效果是這樣的，我們可以在原空間找到一組標準正交基V，同時可以在像空間找到一組標準正交基U，我們知道，看一個矩陣的作用效果只要看它在一組基上的作用效果即可，在內積空間上，我們更希望看到它在一組標準正交基上的作用效果。而矩陣A在標準正交基V上的作用效果恰好可以表示為在U的對應方向上只進行純粹的伸縮！這就大大簡化了我們對矩陣作用的認識，因為我們知道，我們面前不管是多麽復雜的矩陣，它在某組標準正交基上的作用就是在另外一組標準正交基上進行伸縮而已。

【Coursera】主成分分析