主成分分析

簡述

主成分分析意在學習一個對映 $U_{reduce}$

歸一化

設樣本的特徵矩陣 $A$是 $m$行 $n$列的，第 $i$行第 $j$列的 $a_j^{(i)}$即是第 $i$個樣本的第 $j$個特徵的值。資料歸一化是使樣本的特徵的均值為0，第 $j$個特徵在 $m$個樣本的樣本集中的均值
$\mu_j=\frac{1}{m} \sum_{i=1}^m a_j^{(i)}$
資料歸一化即是使
$x_j^{(i)}=a_j^{(i)}-\mu_j$

縮放

不同的特徵值很可能取值範圍相差很大，縮放即使特徵的最大最小值之差恰為1。取每個特徵的最大最小值之差
$s_j=max(a_j^{(i)})-min(a_j^{(i)}) \equiv max(x_j^{(i)})-min(x_j^{(i)})$
對歸一化後的資料進行縮放，即
$x_j^{(i)}=\frac{x_j^{(i)}}{s_j}=\frac{a_j^{(i)}-\mu_j}{s_j}$

PCA降維

前面的歸一化和縮放屬於資料預處理的過程，得到的還是 $m\times n$的矩陣 $X$，先計算樣本協方差矩陣 $\Sigma$
$\Sigma=\frac{1}{m}X^TX$
對其做SVD，得到
$[U,S,V]=svd(\Sigma)$
因為前面得到的 $\Sigma$是 $n\times n$的，行數為 $n$，所以 $U$是 $n$階方陣，其列空間由左奇異向量組成
$U=[\pmb{u}_1,\pmb{u}_2,...,\pmb{u}_n]$
樣本協方差矩陣 $\Sigma$可以由這些特徵向量線性表出。在約定奇異值在主對角線上從大到小排列的要求下，只要選取前 $k$個列向量，組成主成分特徵矩陣
$U_{reduce}=[\pmb{u}_1,\pmb{u}_2,...,\pmb{u}_k]$
其維度是