2. 程式人生 > >機器學習：降維演算法-主成分分析PCA演算法兩種角度的推導

機器學習：降維演算法-主成分分析PCA演算法兩種角度的推導

阿新 • • 發佈：2019-02-13

若把高維空間的樣本點（可以想象是一個3維的）對映到一個超平面，怎樣的超平面可以認為是“好的”，可以想到這個超平面大概有這樣的性質：

  1. 最近重構行：樣本點到超平面的距離都足夠近；（樣本點變化儘可能小，丟失的資訊儘可能少）
  2. 最大可分性：樣本點在這個超平面上的投影儘可能分開.（樣本點在低維空間區分度儘可能高）

神奇的是，從兩個角度出發，可以分別得到主成分分析PCA演算法的兩種等價推導。

根據最近重構性推導：

假設樣本進行了中心化，即：

\sum _{i=1}^{m}x_{i} = 0.

假設投影變換後新的座標系為W={w_{1},w_{2},...,w_{d}}，其中w_{i}是標準正交基向量，\left \| w_{i} \right \|_{2} = 1,w_{i}^{T}w_{j} = 0(i\neq j).

若丟棄座標系中部分座標，即將維度降低到d'<d，得到W'={w_{1},w_{2},...,w_{d'}}，則樣本點x_{i}在低維座標系中的投影為z_{i} = \{z_{i1},z_{i2},...,z_{id'}\}

，其中z_{ij} = w_{j}^{T}x_{i}.若基於z_{i}來重構x_{i}，則會得到：

\hat{x}_{i} = \sum _{j=1}^{d'}z_{ij}w_{j}

（上式\hat{x}_{i}只是原樣本點x_{i}的的近似，因為丟棄了部分座標w_{d'+1},...,w_{d}）.

對於整個樣本集，原樣本點x_{i}和基於投影重構的樣本點\hat{x}_{i}間的距離為：

\begin{align*} \sum_{i=1}^{m}\left \| \sum_{j=1}^{d'}z_{ij}w_{j} - x_{i} \right \|_{2}^{2} &= \sum_{i=1}^{m} \left \| W'z_{i} - x_{i} \right \|_{2}^{2} \\ &=\sum _{i=1}^{m}\left \| W'z_{i} \right \|_{2}^{2} - 2\sum_{i=1}^{m}(W'z_{i})^{T}x_{i} + \sum_{i=1}^{m}\left \| x_{i} \right \|_{2}^{2} \\ &= \sum_{i=1}^{m}z_{i}^{T}W'^{T}W'z_{i} - 2\sum_{i=1}^{m}z_{i}^{T}z_{i} + \sum_{i=1}^{m}x_{i}^{T}x_{i} \\ &=-\sum_{i=1}^{m}z_{i}^{T}z_{i} + \sum_{i=1}^{m}x_{i}^{T}x_{i} \\ &= -\sum_{i=1}^{m}tr(z_{i}z_{i}^{T}) + \sum_{i=1}^{m}x_{i}^{T}x_{i} \\ &= -tr(\sum_{i=1}^{m}z_{i}z_{i}^{T}) +\sum_{i=1}^{m}x_{i}^{T}x_{i} \\ &= -tr(\sum_{i=1}^{m}W'^{T}x_{i}x_{i}^{T}W') + \sum_{i=1}^{m}x_{i}^{T}x_{i} \\ &= -tr(W'^{T}(\sum_{i=1}^{m}x_{i}x_{i}^{T})W') + \sum_{i=1}^{m}x_{i}^{T}x_{i} \\ &= -tr(W'^{T}XX^{T}W') + \sum_{i=1}^{m}x_{i}^{T}x_{i} \end{align*}.

根據最近重構性，上式應被最小化，得到主成分分析的優化目標：

\min_{W'} -tr(W'^{T}XX^{T}W')

s.t.  W'^{T}W' = I.

根據最大可分性推導：

投影后，樣本點的方差之和為（樣本X已中心化：(\sum _{i=1}^{m}x_{i} = 0)，所以投影后的Z也是中心化的）：

\begin{align*} tr(\sum_{i=1}^{m}z_{i}z_{i}^{T}) &= tr(\sum_{i=1}^{m}W'^{T}x_{i}x_{i}^{T}W') \\ &= tr(W'^{T}(\sum _{i=1}^{m}x_{i}x_{i}^{T})W')\\ &= tr(W'^{T}XX^{T}W') \end{align*}.

根據最大可分性，投影后的樣本點應儘量分開，所以方差應儘量大，於是從最大可分性角度得到主成分分析的優化目標：

\max_{W'} tr(W'^{T}XX^{T}W')

s.t.  W'^{T}W' = I.

顯然，跟從最近重構性角度得到的優化目標是等價的。

發現w_{i}須是XX^{T}的特徵向量。於是，對XX^{T}進行特徵值分解，將求得的特徵值排序：\lambda_{1}\geqslant \lambda_{2}\geqslant ...\geqslant\lambda_{d}，取前d'個特徵值對應的特徵向量構成W'

={w_{1},w_{2},...,w_{d'}}（個人覺得，這裡還需保證w_{1},w_{2},...,w_{d'}相互正交，才能滿足約束，因為如果有相同的特徵值，那麼其對應的特徵向量不一定正交。順便補充一個定理：對稱矩陣不同特徵值對應的特徵向量相互正交），這就是主成分分析的解。

演算法描述如下：

其他補充：

有三種方法確定降維後的維度d'：

  1. 人為指定；
  2. 在d'值不同的低維空間對k近鄰分類器（或其他開銷較小的學習器）進行交叉驗證來選取較好的d'值；
  3. 設定一個重構閾值，如t = 95%,然後選取使 \frac{\sum_{i=1}^{d'}\lambda_i}{\sum_{i=1}^{d}\lambda_{i}}\geqslant t成立的最小d'值.

PCA演算法除了儲存投影矩陣W'，還需儲存樣本的均值向量，這是為了對新樣本同樣進行中心化。PCA降維看似捨棄了一部分資訊，但這麼做是必要的：1、這樣做使樣本的取樣密度增大

；2、當資料受到噪聲影響時，最小特徵值對應的特徵向量往往與噪聲有關。

參考資料：

周志華《機器學習》

參考博文：

相關博文：

相關推薦

機器學習：降維演算法-主成分分析PCA演算法兩種角度的推導

若把高維空間的樣本點（可以想象是一個3維的）對映到一個超平面，怎樣的超平面可以認為是“好的”，可以想到這個超平面大概有這樣的性質： 最近重構行：樣本點到超平面的距離都足夠近；（樣本點變化儘可能小，丟失的資訊儘可能少） 最大可分性：樣本點在這個超平面上的投影儘可能分開.（樣

吳恩達機器學習（十二）主成分分析（降維、PCA）

目錄 0. 前言 學習完吳恩達老師機器學習課程的降維，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心的~ 0. 前言 資料的特徵數量，又稱作向量的維度。降維（dimens

機器學習（五）降維技術---主成分分析、因子分析

機器學習（五）降維技術---主成分分析、因子分析   降維（處理線性問題為主） 一提到降維這個詞，大家可能就會覺得非常高大上，到底是什麼東西呢？降維通俗來講就是把原先多個指標的計算降維為少量幾個經過優化指標的計算，可能大家還是不理解，舉個例子就是本來拿來參加建模的特徵有100個

機器學習降維之主成分分析

1. 主成分基本思想 主成分基本思想：在主成分分析中，首先對給定資料進行規範化，使得資料每一個變數的平均值維0，方差為1，之後對資料進行正交變換，原來由線性相關變量表示的資料，通過正交變換變成由若干個線性無關的新變量表示的資料。新變數是可能的正交變換中變數的方差的和最大的，方差表示了新變數上資訊的大小，將新變

主成分分析PCA演算法：為什麼去均值以後的高維矩陣乘以其協方差矩陣的特徵向量矩陣就是“投影”？

這是從網上看到的PCA演算法的步驟： 第一步，分別求每列的平均值，然後對於所有的樣例，都減去對應的均值。 第二步，求特徵協方差矩陣。 第三步，求協方差的特徵值…顯示全部 關注者 1,218 被瀏覽 78,113 關注問題寫回答 ​新增評論 ​分享 ​邀請回答

降維之主成分分析法（PCA）

image lambda 展示 auto 有一個 多點 方便 系列 9.png 一、主成分分析法的思想 我們在研究某些問題時，需要處理帶有很多變量的數據，比如研究房價的影響因素，需要考慮的變量有物價水平、土地價格、利率、就業率、城市化率等。變量和數據很多，但是可能存在噪

【Mark Schmidt課件】機器學習與資料探勘——主元分析PCA

本課件主要內容包括： 上次課程回顧：MAP估計 人類 vs. 機器感知 隱因子模型 向量量化 向量量化 vs. PCA 主元分析PCA的應用 PCA目標函式 英文原文課件下載地址： h

機器學習之路：python 特征降維 主成分分析 PCA

repo nts total python learning bsp ota spa 像素 python3 學習api使用 主成分分析方法實現降低維度 使用了網絡上的數據集，我已經下載到了本地，可以去我的git上參考 git:https://github.com/lin

機器學習（七）：主成分分析PCA降維_Python

六、PCA主成分分析（降維） 1、用處 資料壓縮（Data Compression）,使程式執行更快 視覺化資料，例如3D-->2D等 …… 2、2D–>1D，nD–&

機器學習課程-第 8 周-降維(Dimensionality Reduction)—主成分分析(PCA)

art 不同 計算機 dimens 是什麽 課程 繪制 start pca 1. 動機一：數據壓縮 第二種類型的 無監督學習問題，稱為 降維。有幾個不同的的原因使你可能想要做降維。一是數據壓縮，數據壓縮不僅允許我們壓縮數據，因而使用較少的計算機內存或磁盤空間，但它也讓我們

機器學習-python編寫主成分分析(PCA)資料降維

程式碼及資料集下載：PCA 在機器學習之前通常需要對資料進行降維處理，有以下原因： 使得資料集更易使用 降低很多演算法的計算開銷 去除噪聲 使得結果易懂 這裡講的降維方法為主成分分析法（PCA），將資料從原來的座標系轉換到新的座標系，新的座標系的選擇是

【機器學習演算法實現】主成分分析 PCA ——基於python+numpy

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

一步步教你輕鬆學主成分分析PCA降維演算法

（白寧超 2018年10月22日10:14:18） 摘要：主成分分析（英語：Principal components analysis，PCA）是一種分析、簡化資料集的技術。主成分分析經常用於減少資料集的維數，同時保持資料集中的對方差貢獻最大的特徵。常常應用在文字處理、人臉識別、圖片識別、自然語言處

資料探勘學習------------------1-資料準備-４-主成分分析（PCA）降維和相關係數降維

１.４資料降維 在分析多個變數時發現它們中有一定的相關性。有一種方法將多個變數綜合成少數幾個相互無關的代表性變數來代替原來的變數，這就是資料降維，可以考慮主成分分析法。 1)、主成分分析法（PCA） 1、基本思想 （1）如果將選取的第一個線性組合即第一個綜合變數記為F

【機器學習】主成分分析PCA（Principal components analysis）

大小 限制 總結 情況 pca 空間 會有 ges nal 1. 問題 真實的訓練數據總是存在各種各樣的問題：　　1、 比如拿到一個汽車的樣本，裏面既有以“千米/每小時”度量的最大速度特征，也有“英裏/小時”的最大速度特征，

吳恩達老師機器學習筆記主成分分析PCA

接著學習主成分分析，這個演算法在之前計量地理學的作業裡寫過，不過前者稍微囉嗦了一點。 原始二維資料： 放程式碼： load('ex7data1.mat'); [m n]=size(X); X=(X-mean(X))./std(X); sigma=1/m*(X'*X); % 求取協

機器學習——資料降維

特徵選擇 選擇特徵就是單純地從提取到的所有特徵種選擇部分特徵作為訓練集特徵，特徵在選擇前和選擇後可以改變值，也不改變值，但是選擇後的特徵維度肯定比選擇前小，畢竟我們只選擇了其中的一部分特徵。 主要方法（三大武器）：Filter（過濾器）：VarianceThreshold  

【機器學習筆記15】主成分分析(PCA)

PCA演算法 去平均值，即每一位特徵減去各自的平均值 計算新矩陣的協方差矩陣 設$X=(X_1, X_2…X_N)^T $，在鳶尾花例子裡N=4,會生成一個4*4的協方差矩陣 稱矩陣 C=(cij)n×n=(c11c12⋯c1nc21c22⋯c2n⋯⋯⋯⋯

人臉識別中用主成分分析PCA來將資料降維--MATLAB程式碼

人臉識別的資料集，維度一般都比較高，在自己的電腦上跑這麼高維的資料集，很多個人計算機需要跑很長時間，因此一般都需要改變影象大小或者是降維。 常用的方式有以下幾種，最普通的是改變影象的大小，是用的MATLAB自帶的imresize函式來直接改變影象的大小，如何使用請自行查詢。其次就是降維，基本的降

python大戰機器學習——資料降維

注：因為公式敲起來太麻煩，因此本文中的公式沒有呈現出來，想要知道具體的計算公式，請參考原書中內容　　 　　降維就是指採用某種對映方法，將原高維空間中的資料點對映到低維度的空間中 1、主成分分析（PCA） 　　將n維樣本X通過投影矩陣W，轉換為K維矩陣Z 　　輸入：樣本集D，低維空間d 　　輸出：投影矩陣W