思路

主成分分析、Principal Component Analysis、PCA的推導有很多種途徑，我們選擇一種，容易理解的來講解。我們的目的是降維，但是不能胡亂的降，觀察下面這組資料：
這裡寫圖片描述
我們畫的是二維情況，但是具體到高維也是可以的。μ是我們目測一個比較好的降維之後的投影方向。但是這只是目測，我們怎麼規定這個準則呢？我們規定：
投影之後樣本竟可能分散，即樣本方差儘可能大。
這裡寫圖片描述

推導

樣本點xi除了可以看成點，還可以看成一條以原點為起點，xi點為終點的向量。樣本點xi在座標軸上的投影長度為：
length=||xi||⋅cos(θ)
其中θ為向量μ和向量x的夾角。我們帶入向量內積計算公式得：
l

ength=xi⋅μ||μ||
令||μ||=1,則可以把這個長度轉化成座標，有在μ座標軸上新座標為：
yi=xi⋅μ=xTiμ
所以在新座標裡樣本方差為

1m∑im(yi−y)2
y是樣本均值。我們樣本去均值化就方便計算（注：這步去均值化在變換前就可以實施）。所以我們的目標就是：
max1m∑imyi2=1m∑im(xiTμ)2=1m∑imμTxixiTμ=μT(1m∑imxixiT)μ
latex這個μ實在是加粗不能，湊合看吧，它是個向量。
我把問題寫清楚一點：
{maxμTMμs.t.μTμ=1
其中M當然等於(1/m∑mixixiT)啦～
用拉格朗日乘數法解決這個優化問題：
L

(μ,λ)=μTMμ−λ(μTμ−1)
∇μL=Mμ−λμ=0
得到
Mμ=λμ
至此我們知道啦。搞了半天，μ是特徵向量，λ就是對應的特徵值啊！

整理與降維

我們回到方差最大化。發現方差為：

μTMμ=λ
所以特徵值越大，我們用對應特徵向量作為座標軸（基）變換後的樣本方差也就越大。如果我們選擇前k個特徵值對應的特徵向量，則能達到降維的目的～
降維前：
x=x1⋅v1+x2⋅v2+...+xm⋅vm
降維後：

機器學習----降維與度量學習（PCA）

思路

推導

整理與降維

機器學習----降維與度量學習（PCA）

周志華《Machine Learning》學習筆記（12）--降維與度量學習

降維與度量學習

從零開始-Machine Learning學習筆記(27)-降維與度量學習

【機器學習】資料降維—主成分分析（PCA）

數據降維——主成分分析（PCA）

【機器學習】資料降維—線性判別分析（LDA）

JVM基礎：深入學習JVM堆與JVM棧（轉）

機器學習實戰學習筆記5——主成分分析（PCA）

Java進階學習之集合與泛型（1）

學習筆記：降維、度量、特徵選擇與稀疏學習

機器學習-PCA降維與DBScan聚類分析實戰

吳恩達機器學習總結：第十一降維（PCA）（大綱摘要及課後作業）

【機器學習】決策樹與隨機森林（轉）

機器學習基礎--概率論與數理統計（已學習到P65）(忘記的東西都在這)

人工智慧（2）- 學習主成成分分析（PCA）進行降維

機器學習--降維技術PCA

【ML學習筆記】25：PCA及繪製降維與恢復示意圖

流形學習-高維資料的降維與視覺化

迴歸學習演算法---偏最小二乘迴歸、PCA降維與理論

機器學習----降維與度量學習（PCA）

思路

推導

整理與降維

相關推薦