文章目錄

• PCA主成分分析
• 目標函式1:最小化重建誤差
• 目標函式2：最大化方差
• PCA目標函式計算
• 求解PCA(1)
• 表現
• 求解PCA(2)
• PCA總結

PCA主成分分析

目標函式1:最小化重建誤差

重建誤差是指將低維表示重新轉化為高維表示時與原來的高維表示的誤差.

最小化重建誤差可用最小化所有樣本的平方重建誤差之和來替代.

• 假定 $\mathrm{\mid }\mathrm{\mid }$
  w i ∣ ∣ = 1 , w i
  T w j = 0 ( i ≠ j
  ) ||w_i||=1,w_i^Tw_j = 0(i\neq j) 為新座標
• $w$用在兩個函式上：
  • 編碼： $z_i = W^Tx_i,z_{ij} = w_j^Tx_i$
  • 解碼： $\tilde{x}_i = Wz_i = \sum_{j=1}^{d'}z_{ij}w_j$
• 目標：最小平方重建誤差和 $min_{W\in R^{d\times d'}}\sum_{i=1}^m||x_i - Wz_i||^2$

重建誤差： $||x-\tilde{x}||$

當低維恰好是高維在低維向量 $w_i$上的投影時，重構誤差最小.

推導：
$\begin{aligned} \sum_{i=1}^m||x_i - Wz_i||^2 & = \sum_{i=1}^m||x_i - \sum_{j=1}^{d'}z_{ij}w_j||^2\\ & = \sum_{i=1}^mz_i^Tz_i - 2\sum_{j=1}^mz_i^TW^Tx_i + const\\ &\propto -tr(W^T(\sum_{i=1}^mx_ix_i^T)W)\\ & = - tr(W^TXX^TW) \end{aligned}$
其中，
$||w_i|| = 1, w_i^Tw_j = 0(i\neq j)$