主成分分析（PCA）詳細講解

介紹

主成分分析（Principal Component Analysis，PCA）是一種常用的資料降維演算法，可以將高維度的資料降到低維度，並且保留原始資料中最重要的一些特徵，同時去除噪聲和部分關聯特徵，從而提高資料的處理效率，降低時間成本。

資料降維優點：

低維資料更容易使用
資料之間相互獨立
減少了變數的個數
提高了演算法的效率
去除了噪聲
結果的解釋性更強

在PCA中，資料從原來的座標系轉換到新的座標系，在新的座標系中要求資料之間的協方差為0（即不同維度之間的資料線性不相關），而方差儘可能的大。因此，第一座標軸是原始資料中方差最大的方向，第二個座標軸是與第一個新座標軸正交且方差次大的方向，重複該過程，直到需要的降維數。在詳細講解PCA之前，有必要先介紹協方差。

協方差

統計學裡最基本的概念有均值、方差、標準差，假設有n個樣本： $X_{1}, X_{2}, .$

. . , X n X_{1},X_{2},...,X_{n}

X_{1}, X_{2}, . . ., X_{n}

，那麼

均值： $X$

‾ = ∑ i = 1 N X i N \overline{X}=\frac{\sum_{i=1}^{N}X_{i}}{N}

\overline{X} = \frac{\sum _{i = 1}^{N} X _{i}}{N}

方差： $S^{2}=\frac{\sum_{i=1}^{N}(X_{i}-\overline{X})^2}{N-1}$

標準差： $S=\sqrt{\frac{\sum_{i=1}^{N}(X_{i}-\overline{X})^2}{N-1}}$

其中，方差和標準差是描述一維資料的離散程度，但現實中的資料往往是多維的，比如說學生的成績，不一定只和學習時間有關，還涉及到學習效率，學習狀態等等，這時便引入了協方差。協方差定義：

$Cov(X,Y)=\frac{\sum_{i=1}^{N}(X_{i}-\overline{X})(Y_{i}-\overline{Y})}{N-1}$

$Cov(X,Y)>0$ ，X和Y是正相關關係
$Cov(X,Y)<0$ ，X和Y是負相關關係
$Cov(X,Y)>0$ ，X和Y是線性不相關，但是不一定相互獨立哦（ $sinx$ 和 $cosx$ 線性不相關，但是它們的平方是有關係的， $sin^{2}x+cos^{2}x=1）$

不過有的協方差用的是：

$Cov(X,Y)=\frac{\sum_{i=1}^{N}(X_{i}-\overline{X})(Y_{i}-\overline{Y})}{N}$ （除以 $N$ 結果會偏小，得除以 $N-1$ 才能得到無偏估計，可以參考“為什麼樣本方差（sample variance）的分母是 n-1？”）

資料如果有三維，協方差矩陣為：

$C=\begin{bmatrix} cov(x,x)& cov(x,y) & cov(x,z)\\ cov(y,x) &cov(y,y) & cov(y,z)\\ cov(z,x)& cov(z,y)&cov(z,z) \end{bmatrix}$

PCA步驟

假設有m個樣本資料，每個資料是n維的，按列組成矩陣 $X_{nm}$ ，則PCA步驟如下：

均值化矩陣 $X_{nm}$ ，得到

相關推薦

主成分分析（PCA）詳細講解

介紹主成分分析（Principal Component Analysis，PCA）是一種常用的資料降維演算法，可以將高維度的資料降到低維度，並且保留原始資料中最重要的一些特徵，同時去除噪聲和部分關聯特徵，從而提高資料的處理效率，降低時間成本。資料降維優點：低維資

主成分分析（PCA）原理詳解（轉載）

增加信息什麽之前 repl 神奇 cto gmail 協方差一、PCA簡介 1. 相關背景上完陳恩紅老師的《機器學習與知識發現》和季海波老師的《矩陣代數》兩門課之後，頗有體會。最近在做主成分分析和奇異值分解方面的項目，所以記錄一下心得體會。

[python機器學習及實踐(6)]Sklearn實現主成分分析（PCA）

相關性 hit 變量 gray tran total 空間 mach show 1.PCA原理主成分分析（Principal Component Analysis，PCA），是一種統計方法。通過正交變換將一組可能存在相關性的變量轉換為一組線性不相關的變量，轉換後的這組

【原始碼】主成分分析（PCA）與獨立分量分析（ICA）MATLAB工具箱

本MATLAB工具箱包含PCA和ICA實現的多個函式，並且包括多個演示示例。在主成分分析中，多維資料被投影到最大奇異值相對應的奇異向量上，該操作有效地將輸入訊號分解成在資料中最大方差方向上的正交分量。因此，PCA常用於維數降低的應用中，通過執行PCA產生資料的低維表示，同時，該低維表

主成分分析（PCA）原理詳解

1. 問題真實的訓練資料總是存在各種各樣的問題： 1、比如拿到一個汽車的樣本，裡面既有以“千米/每小時”度量的最大速度特徵，也有“英里/小時”的最大速度特徵，顯然這兩個特徵有一個多餘。 2、拿到一個數學系的本科生期末考試成績單，裡面有三列，一列是對數學的

主成分分析（PCA）在壓縮影象方面的應用

一、主成分分析的原理主成分分析能夠通過提取資料的主要成分，減少資料的特徵，達到資料降維的目的。具體的原理可參見之前寫的關於PCA原理的一篇文章：二、使用matlab模擬實現%% 利用PCA對影象壓縮 close all clear all clc %% 輸入 In = i

Machine Learning第八講【非監督學習】--（三）主成分分析（PCA）

一、Principal Component Analysis Problem Formulation（主成分分析構思）首先來看一下PCA的基本原理： PCA會選擇投影誤差最小的一條線，由圖中可以看出，當這條線是我們所求時，投影誤差比較小，而投影誤差比較大時，一定是這條線偏離最優直線。

使用主成分分析（PCA）方法對資料進行降維

我們知道當資料維度太大時，進行分類任務時會花費大量時間，因此需要進行資料降維，其中一種非常流行的降維方法叫主成分分析。 Exploratory Data Analysis 鳶尾花資料集： import numpy as np from skle

機器學習實戰學習筆記5——主成分分析（PCA）

1.PCA演算法概述 1.1 PCA演算法介紹主成分分析（Principal Component Analysis）是一種用正交變換的方法將一個可能相關變數的觀察值集合轉換成一個線性無關變數值集合的統計過程，被稱為主成分。主成分的數目小於或等於原始

主成分分析（PCA）-理論基礎

要解釋為什麼協方差矩陣的特徵向量可以將原始特徵對映到 k 維理想特徵，我看到的有三個理論：分別是最大方差理論、最小錯誤理論和座標軸相關度理論。這裡簡單探討前兩種，最後一種在討論PCA 意義時簡單概述。最大方差理論在訊號處理中認為訊號具有較大的方差

主成分分析（PCA）的線性代數推導過程

【摘自Ian Goodfellow 《DEEP LEANRNING》一書。覺得寫得挺清楚，儲存下來學習參考使用。】主成分分析(principal components analysis, PCA)是一個簡單的機器學習演算法，可以通過基礎的線性代數知識推導。假設在n維的R空間中我們有 m

用主成分分析（PCA）演算法做人臉識別

詳細資料可以參考https://www.cnblogs.com/xingshansi/p/6445625.html一、概念主成分分析（PCA）是一種統計方法。通過正交變換將一組可能存在相關性的變數轉化為一組線性不相關的變數，轉換後的這組變數叫主成分。二、思想PCA的思想是將n

主成分分析（pca）演算法原理

影象處理中對很多副圖片提取特徵時，由於特徵的維數過高而影響程式的效率，所以用到pca進行特徵降維。那怎樣才能降低維數呢？它又用到了什麼數學方法呢？ 1.協方差矩陣假設有一個樣本集X，裡面有N個樣本，每個樣本的維度為d。即：將這些樣本組織成樣本矩陣形

主成分分析（pca）演算法的實現步驟及程式碼

%%%%%%%%%%%%開啟一個30行8列資料的txt檔案%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %% %第一步：輸入樣本矩陣%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% filename='src.txt'; fid=fopen(filename,'

主成分分析（PCA）與Kernel PCA

本部落格在之前的文章【1】中曾經介紹過PCA在影象壓縮中的應用。其基本思想就是設法提取資料的主成分（或者說是主要資訊），然後摒棄冗餘資訊（或次要資訊），從而達到壓縮的目的。本文將從更深的層次上討論PCA

機器學習（十三）：CS229ML課程筆記（9）——因子分析、主成分分析（PCA）、獨立成分分析（ICA）

1.因子分析：高維樣本點實際上是由低維樣本點經過高斯分佈、線性變換、誤差擾動生成的，因子分析是一種資料簡化技術，是一種資料的降維方法，可以從原始高維資料中，挖掘出仍然能表現眾多原始變數主要資訊的低維資料。是基於一種概率模型，使用EM演算法來估計引數。因子分析，是分析屬性們的公

深入學習主成分分析（PCA）演算法原理及其Python實現

一：引入問題　　首先看一個表格，下表是某些學生的語文，數學，物理，化學成績統計：　　首先，假設這些科目成績不相關，也就是說某一科目考多少分與其他科目沒有關係，那麼如何判斷三個學生的優秀程度呢？首先我們一眼就能看出來，數學，物理，化學這三門課的成績構成了這組資料的主成分（很顯然，數學作為第一主成分，

對KLT，主成分分析（PCA）演算法的理解

1 #include "pcaface.h" 2 #include "ui_pcaface.h" 3 #include <QString> 4 #include <iostream> 5 #include <stdio.h> 6 7 usi

主成分分析（PCA）原理總結

　　　　主成分分析（Principal components analysis，以下簡稱PCA）是最重要的降維方法之一。在資料壓縮消除冗餘和資料噪音消除等領域都有廣泛的應用。一般我們提到降維最容易想到的演算法就是PCA，下面我們就對PCA的原理做一個總結。 1. PCA的思想　　　　PCA顧名思義，就是找出

主成分分析（PCA）

一、PCA簡介主成分分析（Principal Component Analysis，PCA），是一種統計方法。通過正交變換將一組可能存在相關性的變數轉換為一組線性不相關的變數，轉換後的這組變數叫主成分。二、PCA提出的背景在許多領域的研究與應用中，往往需要對反映事物的多個變

主成分分析（PCA）詳細講解

介紹

協方差

PCA步驟

相關推薦