2. 程式人生 > >線性判別分析(Linear Discriminant Analysis, LDA) 學習筆記 + matlab實現

線性判別分析(Linear Discriminant Analysis, LDA) 學習筆記 + matlab實現

阿新 • • 發佈：2019-02-03

綜述

線性判別分析 (LDA)是對費舍爾的線性鑑別方法(FLD)的歸納，屬於監督學習的方法。LDA使用統計學，模式識別和機器學習方法，試圖找到兩類物體或事件的特徵的一個線性組合，以能夠特徵化或區分它們。所得的組合可用來作為一個線性分類器，或者，更常見的是，為後續的分類做降維處理。

LDA的基本思想是將高維的模式樣本投影到最佳鑑別向量空間，以達到抽取分類資訊和壓縮特徵空間維數的效果，投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特徵抽取方法。使用這種方法能夠使投影后模式樣本的類間散佈矩陣最大，並且同時類內散佈矩陣最小。就是說，它能夠保證投影后模式樣本在新的空間中有最小的類內距離和最大的類間距離，即模式在該空間中有最佳的可分離性。

LDA演算法流程

decision
根據基本思想，我們需要將樣本點投影到最佳鑑別向量空間，達到以下兩個要求：最大化類間距離與最小化類中樣本方差。
我們設向量空間的weight vector為 w⃗  且其長度為1
這裡寫圖片描述
假設我們有兩個類的樣本類I和類A，則均值

μ⃗ i=1ni∑q⃗ ∈Iq⃗ 
μ⃗ a=1na∑q⃗ ∈Aq⃗ 
類內方差Within class variance (協方差矩陣)：
Si=∑q⃗ ∈I(q⃗ −μ⃗ i)(q⃗ −μ⃗ i)T
Sa=∑q⃗ ∈A(q⃗ −μ⃗ a)(q⃗ −μ⃗ a)T

協方差矩陣所刻畫的是該類與樣本總體之間的關係，其中該矩陣對角線上的函式所代表的是該類相對樣本總體的方差（即分散度），而非對角線上的元素所代表是該類樣本總體均值的協方差（即該類和總體樣本的相關聯度或稱冗餘度）

類內散度矩陣 Total within class variance

Sw=Si+Sa
類間散度矩陣 Between class variance Sb=(μ⃗ a−μ⃗ i)(μ⃗ a−μ⃗ i)T
如果所有樣本都被LDA轉換，則類方差與類方差總數之比為(Fisher鑑別準則表示式) w⃗ TSbw⃗ w⃗ TSww⃗ 
該值在w⃗ =S−1w(μ⃗ a−μ⃗ b)
最小化
分割點為：12w⃗ T(μ⃗ a+μ⃗ b)
因此，值大於此分割點時屬於Class A，反之則屬於Class I
這裡寫圖片描述

演算法分析

由於是兩類資料，因此我們只需要將資料投影到一條直線上即可。假設我們的投影直線是向量w

,則對任意一個樣本本xi,它在直線w的投影為wTxi,對於我們的兩個類別的中心點μ0,μ1,在在直線w的投影為wTμ0和wTμ1。由於LDA需要讓不同類別的資料的類別中心之間的距離儘可能的大，也就是我們要最大化||wTμ0−wTμ1||22,同時我們希望同一種類別數據

相關推薦

線性判別分析(Linear Discriminant Analysis, LDA) 學習筆記 + matlab實現

綜述 線性判別分析 (LDA)是對費舍爾的線性鑑別方法(FLD)的歸納，屬於監督學習的方法。LDA使用統計學，模式識別和機器學習方法，試圖找到兩類物體或事件的特徵的一個線性組合，以能夠特徵化或區分它們。所得的組合可用來作為一個線性分類器，或者，更常見的是，為後

線性判別分析(Linear Discriminant Analysis, LDA）演算法分析

原文地址 LDA演算法入門 一． LDA演算法概述： 線性判別式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher線性判別(Fisher Linear Discriminant ,FLD)，是模式識別的經典演算法，它是

ML-64: 機器學習之線性判別分析(Linear Discriminant Analysis)降維演算法+程式碼

線性判別分析(Linear Discriminant Analysis)降維演算法 機器學習分為監督學習、無監督學習和半監督學習(強化學習)。無監督學習最常應用的場景是聚類(clustering)和降維(dimension reduction)。聚類演算法包括

R語言分類演算法之線性判別分析(Linear Discriminant Analysis)

1.線性判別原理解析 基本思想是”投影”,即高緯度空間的點向低緯度空間投影,從而簡化問題的處理.在原座標系下,空間中的點可能很難被分開,如圖8-1,當類別Ⅰ和類別Ⅱ中的樣本點都投影至圖中的”原

線性判別分析（Linear Discriminant Analysis-LDA）

png 數學 坐標軸 ima 特征 分析 技術 數據預處理 距離 Linear Discriminant Analysis(LDA線性判別分析) 　　用途：數據預處理中的降維，分類任務 　　目標：LDA關心的是能夠最大化類間區分度的坐標軸成分，將特征空間（數據集中的多維樣本

線性判別分析（(Linear Discriminant Analysis,LDA）

        LDA用於分類問題上，在給定一個樣本的情況下，將樣例投影到一條直線上，使得同類樣例的投影點儘可能接近，異類樣例的投影點儘可能遠離。那麼對於一個新的樣本，只要將其投影到這條直線上再根據投影點的位置即可完成分類。

高斯判別分析 Gaussian Discriminant Analysis

方差 targe clas blog log 通過 post 高斯 gist 之前我們分析Logistic Regression，通過求p(y|x)來判定數據屬於哪一個輸出分類，這種直接判定的方法稱為Discriminative Learning Algorithms，但還

線性判別分析LDA（Linear Discriminant Analysis）

1、簡介 大家熟知的PCA演算法是一種無監督的降維演算法，其在工作過程中沒有將類別標籤考慮進去。當我們想在對原始資料降維後的一些最佳特徵（與類標籤關係最密切的，即與y相關），這個時候，基於Fisher準則的線性判別分析LDA就能派上用場了。注意，LDA是一種有

線性判別分析（Linear Discriminant Analysis）

線性判別式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher線性判別(Fisher Linear Discriminant ,FLD)，是模式識別的經典演算法，它是在1996年由Belhumeur引入模式識別和人工智慧領域的。性鑑別

線性判別分析（Linear Discriminant Analysis）（二）

4. 例項       將3維空間上的球體樣本點投影到二維上，W1相比W2能夠獲得更好的分離效果。              PCA與LDA的降維對比：              PCA選擇樣本點投影具有最大方差的方向，LDA選擇分類效能最好的方向。       LDA既然叫做線性判別分析，應該具有一定的預

機器學習之LDA線性判別分析模型

機器學習之LDA線性判別分析模型 # -*- coding: utf-8 -*- """ Created on Wed Nov 21 21:03:14 2018 @author: muli """ import matplotlib.pyplot as plt im

【機器學習】LDA（線性判別分析）或fisher判別分析

內容目錄： 一、LDA/fisher判別分析 二、LDA判別分析與PCA對比 一、fisher判別分析 1.首先在模式識別課程上學習的是fisher判別，LDA概念是看川大同學寫的500問接觸的，兩者是一樣的東西。 2推薦：深度學習500問 github連結形式是問答形式，初學者概念

機器學習筆記之（4）——Fisher分類器（線性判別分析，LDA）

本博文為Fisher分類器的學習筆記~本博文主要參考書籍為：《Python大戰機器學習》Fisher分類器也叫Fisher線性判別（Fisher Linear Discriminant），或稱為線性判別分析（Linear Discriminant Analysis，LDA）。

線性判別分析（Linear Discriminant Analyst）

線性判別分析LDA 為了最優分類，我們要計算後驗概率P(G|X)。設fk(x)是類G=k中X的類條件密度，而πk是類k的先驗概率，貝葉斯定理給出 P(G=k|X=x)=fk(x)πk∑Kl=1fl(x)πl 假定我們用多元高斯分佈對每個類密度建模

【機器學習】LDA線性判別分析原理及例項

1、LDA的基本原理 LDA線性判別分析也是一種經典的降維方法，LDA是一種監督學習的降維技術，也就是說它的資料集的每個樣本是有類別輸出的。這點和PCA不同。PCA是不考慮樣本類別輸出的無監督降維技術。LDA的思想可以用一句話概括，就是“*投影后類內方

機器學習演算法的Python實現 (1)：logistics迴歸 與 線性判別分析（LDA）

本文為筆者在學習周志華老師的機器學習教材後，寫的課後習題的的程式設計題。之前放在答案的博文中，現在重新進行整理，將需要實現程式碼的部分單獨拿出來，慢慢積累。希望能寫一個機器學習演算法實現的系列。 本文主要包括： 1、logistics迴歸 2、線性判別分析（LDA） 使

【機器學習】資料降維—線性判別分析（LDA）

本文程式碼推薦使用Jupyter notebook跑，這樣得到的結果更為直觀。 線性判別分析（Linear Discriminant Analysis,LDA）是一種可作為特徵抽取的技術 LDA可以提

Python機器學習筆記：線性判別分析（LDA）演算法

預備知識 　　首先學習兩個概念： 　　線性分類：指存在一個線性方程可以把待分類資料分開，或者說用一個超平面能將正負樣本區分開，表示式為y=wx，這裡先說一下超平面，對於二維的情況，可以理解為一條直線，如一次函式。它的分類演算法是基於一個線性的預測函式，決策的邊界是平的，比如直線和平面。一般的方法有感知器，最小

LDA 線性判別分析

討論 report 二維 一個 tutorial 沒有 ron get 是否 http://blog.csdn.net/porly/article/details/8020696 1. LDA是什麽 線性判別式分析（Linear Discriminant Anal

機器學習——線性判別分析

文章目錄 什麼是線性判別分析 線性判別分析的作用 基本思想 如何將點投影到直線上 二分類線性判別分析 如何刻畫類別的中心點之間的距離 如何刻畫投影后相同類別的散亂程度