1. 程式人生 > >【機器學習】LDA(線性判別分析)或fisher判別分析

【機器學習】LDA(線性判別分析)或fisher判別分析

內容目錄:
一、LDA/fisher判別分析
二、LDA判別分析與PCA對比

一、fisher判別分析

1.首先在模式識別課程上學習的是fisher判別,LDA概念是看川大同學寫的500問接觸的,兩者是一樣的東西。
2推薦:深度學習500問 github連結形式是問答形式,初學者概念補充。挺有意思的,飯後閱讀物!
3fisher分類標準:類間的距離越大且類內的距離越小。
4fisher目的:尋找到一條直線,當把所有資料點投影到直線上之後,儘可能的分開不同類別的訓練資料。如下圖所示,右邊的圖的直線投影后無法將其分開,而左邊的直線投影后可以很好的將兩類分開,分介面定義為,兩類在投影后的各自均值點求平均點O,並過此點做投影直線的中垂線。
在這裡插入圖片描述


5分介面所示:

在這裡插入圖片描述
6推導過程:
根據分類原則,類內距離儘可能小,類間距離儘可能大,所以定義了代價函式=類間方差矩陣除以類內方差矩陣。即目標要最大化代價函式。

基本概念數學表示式:
在這裡插入圖片描述
舉例:一維兩類
在這裡插入圖片描述
w的確定(最佳法線向量,投影直線)
4-30推導到4-32時:是把Sb公式4-19帶入了,且(m1-m2)'w(矩陣維度:1dd1=11)為常量就省去了,因為W是作為方向參考,乘上一個常數因子不影響方向。
在這裡插入圖片描述

二、fisher判別分析與PCA比較:

1共同點:兩者都是降維處理。
2降維維度:pca可以達到任意維度,可以只取矩陣分解後特徵值最大的一個特徵向量,也可以取其他;fisher投影降維只能降到K-1維(類別數-1,兩類之間判斷是或不是???這個點怎麼理解???),也比常用資料的屬性特徵的維數少很多。
3fisher可做分類器:
在這裡插入圖片描述