PCA和SVD區別和聯絡

前言：

PCA(principal component analysis)和SVD(Singular value decomposition)是兩種常用的降維方法，在機器學習等領域有廣泛的應用。本文主要介紹這兩種方法之間的區別和聯絡。

一、PCA:

圖1.尋找主成分方向

PCA的中文名叫做主成分分析，是降維和去噪的一種重要方法。PCA選取包含資訊量最多的方向對資料進行投影。其投影方向可以從最大化方差或者最小化投影誤差兩個角度理解（詳細推導見機器學習聖經PRML）。假設有n×d矩陣X，每一行是一個d維樣本xi，尋找投影方向vj以最大化投影方差：

maxvj1n∑

i=1n(xivj−x¯)⊤(xivj−x¯)=v⊤jCvj,s.t.v⊤j⋅vj=1 X'X

圖2.X’X

其中x¯是均值，為了簡化公式，本文假設X已經進行過零均值化處理，即x¯=0；vj是資料的投影方向。d×d 協方差矩陣C=1n∑ni=1(xi)⊤(xi)=1nX⊤X。由於C是實對稱矩陣，可以進行對角化處理：

C=VLV⊤
d×d正交矩陣V的每一列是特徵向量，d×d矩陣L對角線上的每一個元素是特徵值，且特徵值按遞減順序排列。把C 代回式子v⊤jCvj：
v⊤jCvj=v⊤jVLV⊤vj=λj
λj是特徵向量vj對應的特徵值。可以發現當投影方向是C的最大特徵值對應的特徵向量時，投影方向上資料的方差最大。所以用PCA進行降維時通常選取較大特徵值對應的特徵向量作為投影方向：X

Vk，Vk是最大的k個特徵值對應的特徵向量矩陣。

二、SVD:

如果對X做奇異值矩陣分解（SVD分解）：

X=USV⊤
對角陣S對角線上的元素是奇異值，U和V是正交矩陣：U⊤U=I,V⊤V=I。把X的奇異值分解代入協方差矩陣：
C=1nX⊤X=1nVS⊤U⊤USV⊤=VS2nV⊤
d×d正交矩陣V的每一列是特徵向量，不難發現特徵值與奇異值之間存在著對應關係λi=S2ii/n。對X主成分方向進行投影：
XVk=USV⊤Vk=Uk

PCA和SVD區別和聯絡

前言：

一、PCA:

二、SVD:

PCA和SVD區別和聯絡

KEIL、uVision和MDK區別和聯絡

Java 的equals（）方法和 == 的區別和聯絡

關於union和join區別和聯絡

Python pip 和pip3區別　聯絡

後端---Java中ArrayList和LinkedList區別和聯絡

C#中結構體和類區別和聯絡

Bagging演算法和Boosting區別和聯絡

Filter、Servlet和Listener區別與聯絡

知識點 - python 裝飾器@staticmethod和@classmethod區別和使用

hashCode() 和equals() 區別和作用（轉）

Java之JSONObject存取值以及和HashMap區別, optString()和getString()區別和他的遍歷方式

spring classpath:和classpath*:區別和實際應用

Mybatis和Hibernate區別和應用場景

Service和IntentService 區別和使用

G++和C++區別和評測注意事項

BTC和BCH 區別和聯系？

SparkSQL（8）：DataSet和DataFrame區別和轉換

網路---Https和Http區別和對稱加密和非對稱加密

JPA、Hibernate和Mybatis區別和總結

PCA和SVD區別和聯絡

前言：

一、PCA:

二、SVD:

相關推薦