一、特徵分解

許多數學物件可以通過將它們分解成多個組成部分或者找到它們地 一些屬性來更好的理解。這些屬性是通用的，而不是我們選擇表示它們的方式而產生的。如：我們可以用十進位制或二進位制等方式表示12，但12=2*2*3永遠是對的。

1、特徵分解

特徵分解，即將矩陣分解成一組特徵值和特徵向量。

2、特徵值和特徵向量

假如存在A是一個n*n的矩陣，x是一個n維向量，λ為標量，滿足：Ax=λx，那麼，λ是矩陣A的一個特徵值，而x是矩陣A的特徵值λ對應的特徵向量。

即，方陣A的特徵向量是指與A相乘後相當於對該向量進行縮放的非零向量v，縮放幅度λ為特徵值。

如果求出了矩陣A的n個特徵值

其中Q是A的特徵向量組成的n維正交矩陣，Σ$\mathrm{\Sigma }$ 是n個特徵值組成的對角矩陣，也可以用以下方式表示：

要進行特徵分解，矩陣必須滿足為方陣，如果為非方陣可以使用奇異值分解。

二、奇異值分解

奇異值分解（SVD）與特徵分解類似，是將矩陣分解為奇異向量與奇異值。通過上面可以知道，只有方陣才能進行特徵分解，但是每一個矩陣都有一個奇異值分解。

1、定義

對於奇異值分解，我們將其定義為以下形式，與特徵分解類似：

其中A是一個m*n的矩陣，U是一個m*m的矩陣，Σ$\mathrm{\Sigma }$是一個m*n的矩陣，V是一個n*n的矩陣，注意D不一定是方陣，如下所示：

對角矩陣Σ$\mathrm{\Sigma }$對角線上的元素稱為矩陣A的奇異值，矩陣U的列向量稱為左奇異向量，矩陣V的列向量稱為右奇異向量。

2、推導

對於矩陣A的奇異值分解，可以用與A相關的特徵分解推匯出來，A的左奇異向量是AAT$A{A}^T$特徵向量，A的右奇異向量是ATA$A^{T}A$的特徵向量，A的非零奇異值是AAT$A{A}^T$或ATA$A^{T}A$特徵值的平方根，推導如下：

三、降維

上述關於的特徵分解或奇異值分解的過程，實際上並沒有體現出降維的過程，如果給定一個大小為20000*10000的矩陣，我們會發現通過奇異值分解得到三個矩陣U，

1、截斷奇異值分解

事實上，奇異值分解體現在其低秩逼近問題上，在這裡也稱為截斷奇異值分解（Truncated SVD）。
對於奇異值，按照慣例，我們通常降序排列Σ$\mathrm{\Sigma }$的元素，而奇異值擁有一種特徵，它減少的速度特別快，通常前10%甚至1%的奇異值的和就佔了全部的奇異值之和的99%以上，也就是說我們可以用前面出現的k個奇異值和對應的左右奇異向量來近似的描述矩陣，即：

在這裡k要比n小得多，如下所示：

假設取k=100，大小為20000*10000的矩陣可以分解為大小為20000*100、100*100、10000*100的三個矩陣，這樣便大大的減少了計算的儲存開銷。由於這個性質，SVD才可以用在降維，資料壓縮等等。

2、實戰

from sklearn.decomposition import TruncatedSVD
from sklearn.random_projection import sparse_random_matrix
X = sparse_random_matrix(100, 100, density=0.01, random_state=42)
svd = TruncatedSVD(n_components=min(X.shape)-1, n_iter=7, random_state=42)
svd.fit(X)

total_variance, n_components = 0.0, 0
for variance in svd.explained_variance_ratio_:
    total_variance += variance
    n_components += 1
    if total_variance > 0.9: break

svd = TruncatedSVD(n_components=n_components, n_iter=7, random_state=42)
x = svd.fit_transform(X)

上述程式碼定義了一個100*100的稀疏矩陣X，使用TSVD進行擬合。擬合完成後，通過variance佔比進行維數定義，當佔比超過90%時選取該點，這也就是上面提到的奇異值降維性質。
之後再使用當前選取的維數進行重新擬合，轉化，得到100*42維的矩陣x，完成降維過程。

三、參考