前言

主成分分析是在做特徵篩選時的重要手段，這個方法在大部分的書中都只是介紹了步驟方法，並沒有從頭到尾把這個事情給說清楚。本文的目的是把PCA和KPCA給說清楚。主要參考了YouTube上李政軒的Principal Component Analysis and Kernel Principal Component Analysis這個視訊（強烈推薦看一下）。

PCA的原理

什麼是投影

主成分分析所做的工作就是將資料集從高維投影到低維，從而用極少的幾個特徵來涵蓋大部分的資料集資訊。
所謂的投影，就是下圖所示的這樣。

圖1：向量投影圖
xj投影到v上的向量為
x′j=(

||xj||cosθ)v||v||
其中，θ為xj與v的夾角。
由於向量之間的內積為
<xj,v>=||xj||⋅||v||⋅cosθ
故有
x′j=<xj,v>||v||2v
如果我們把v設定成單位向量的話（即||v||=1）就有
x′j=<xj,v>v
也就是說我們只要求出<xj,v>就可以知道xj投影到v上的大小了。
又由於在座標當中，內積可以表示為
<xj,v>=xTj⋅v=vT⋅xj
故可以用vT⋅xj來表示投影后的數值大小。

投影后的方差

主成分分析認為，沿某特徵分佈的資料的方差越大，則該特徵所包含的資訊越多，也就是所謂的主成分。
我們已經知道了可以用v

T⋅xj來表示投影后的數值大小，那麼我們現在就可以算出投影后的方差大小了。注意我們麼已經把資料標準化過了，所以vT⋅x的均值為vT⋅0=0。

σ2=1N−1∑Ni=1(vTxi−0)2=1N−1∑Ni=1(vTxi)(vTxi)
注意到vTxi是一個數值，不是向量，故有vTxi=(vTxi)T於是
σ2=1N−1∑Ni=1vTxixTiv=vT(1N−1∑Ni=1xixTi)v=vTCv
其中，C=1N−1∑Ni=1xi

主成分分析（PCA）和基於核函式的主成分分析（KPCA）入門

前言

PCA的原理

什麼是投影

投影后的方差

主成分分析（PCA）和基於核函式的主成分分析（KPCA）入門

支援向量機SVM（三）：基於核函式的非線性SVM

如何看待鬥魚女主播魔王（在下蘿莉控ii）和b站女主播夙胤言生在直播間女女舌吻？

（19）ASP.NET Core EF建立模型（包含屬性和排除屬性、主鍵、生成的值）

七：重建二叉樹（依據先序遍歷（或者後序遍歷）和中序遍歷重建二叉樹）

跨域問題相關知識詳解（原生js和jquery兩種方法實現jsonp跨域）

LeetCode 381. Insert Delete GetRandom O(1) - Duplicates allowed （插入刪除和獲得隨機數常數時間允許重復項）

unity3d嵌入到iOS工程（3d物體和iOS控制元件顯示在同一個view上）

事件流（事件冒泡和捕獲，函式閉包等）

應用SuperIO（SIO）和開源跨平臺物聯網框架ServerSuperIO（SSIO）構建系統的整體方案

高斯分佈概率密度函式（PDF）和累積分佈函式(CDF)

類中的過載操作符（=）和copy建構函式的區別

spark學習記錄（五、Spark基於資源排程管理器的提交模式）

Python技巧：元類（Metaclasses）和利用Type構建的動態類（Dynamic Classes）

一個案例講解獲取字串長度的函式mb_strlen（）和字串擷取函式mb_substr（）

深度置信網路（DBN）和受限玻爾茲曼機（RBM）

演算法導論——動態規劃之最長公共子序列（LCS）和最長迴文子序列（LPS）

Qt的painter相關（針對QGraphicsItem和item中的繪製的座標相關測試）

細說linux IPC（一）：基於socket的程序間通訊（上）

java搭建阿里雲伺服器環境（java環境+mysql+tomcat）和部署 JavaWeb 專案到雲伺服器（十分詳細）

主成分分析（PCA）和基於核函式的主成分分析（KPCA）入門

前言

PCA的原理

什麼是投影

投影后的方差

相關推薦