一、基礎知識

假設兩個樣本X、Y，它們的均值分別為 $\overline{X}$、 $\bar{Y}$

二、PCA的理解

資料發生降維時會產生資訊損失，同時希望損失儘可能小，降維標準為：樣本到超平面的距離足夠小或者樣本在超平面的投影足夠分散²,詳細的介紹請看這裡。
假設m個n維度資料 $(x^{1},x^{2},...,x^{m})$是中心化後的資料，經過變換得到的新座標系為 $\{w_1,w_2,...,w_n\}$，其中w是標準正交基，滿足 $||w||_2 =1,w_i^Tw_j =0$這裡丟棄部分資料，新的座標系為： $\{w_1,w_2,...,w_{n'}\}$,樣本點 $x^i$在n’維度的新座標系上的投影為： $Z^{(i)}=(z_1^i,z_2^i,...,z_{n'}^i)$
其中 $z_j^i = w_j^Tx^i$是 $x^i$在低維座標系中第J維的座標值。若用 $z^{(i)}$來恢復原始資料 $x^{(i)}$,得到：
$\overline {x^i} = \sum_{j=1}^{n'}z_j^iw_j=WZ^i$
考慮整個樣本集，我們希望樣本到超平面足夠近，即
$min {\sum_{\overline {x^i}}^{m}||\overline {x^i}-x^i ||_2^2}$