2. 程式人生 > >R語言分類演算法之線性判別分析(Linear Discriminant Analysis)

R語言分類演算法之線性判別分析(Linear Discriminant Analysis)

阿新 • • 發佈：2019-02-02

1.線性判別原理解析
基本思想是”投影”,即高緯度空間的點向低緯度空間投影,從而簡化問題的處理.在原座標系下,空間中的點可能很難被分開,如圖8-1,當類別Ⅰ和類別Ⅱ中的樣本點都投影至圖中的”原座標軸”後,出現了部分樣本點的”影子”重合的情況,這樣就無法將分屬於這兩個類別的樣本點區分開來;而如果使用如圖8-2中的”投影軸”進行投影,所得到的”影子”就可以被”類別劃分線”明顯地區分開來.
費希爾判別最重要的就是選擇出適當的投影軸,對該投影軸方向上的要求是:保證投影后,使每一類之內的投影值所形成的類內離儘可能小,而不同類之間的投影值所形成的類間距離差儘可能大.
對線性判別來說,線將樣本點投影到一維空間,即直線上,若效果不明顯,則可以考慮增加一個緯度,即投影到二維空間,依此類推.
而二次判別(Quadratic Discriminant Analysis,QDA)與線性判別(Linear Discriminant Analysis,LDA)的區別就在於投影面的形狀不同,二次判別使用若干次曲面,而非直線或平面來將樣本劃分至相應的類別中.二次判別函式是一種常用的非線性判別函式.
費希爾(Fsher)判別


2.在R語言中的應用
MASS包是Modern Applied Statistics with S 的縮寫，即S語言在現代統計中的應用。線性判別分析(LDA)主要用到了lda(formula,data,…,subset,na.action)函式，二次判別分析(QDA)則用到了qda(formula,data,…,subset,na.action)函式。
3.以iris資料集為例進行線性判別分析
1)應用模型並檢視模型的相應引數

library(MASS)
fit_lda1=lda(Species~.,data_train)
fit_lda1

R語言分類演算法之費希爾(Fisher)判別

2)檢視模型的輸出結果

fit_lda1[1:length(fit_lda1)]

R語言分類演算法之費希爾(Fisher)判別

3)做出模型圖

plot(fit_lda1)

R語言分類演算法之費希爾(Fisher)判別

plot(fit_lda1,dimen=1)

R語言分類演算法之費希爾(Fisher)判別

4)對data_test進行預測，並觀察預測結果

pre_ldal=predict(fit_lda1,data_test)
pre_ldal[1:length(pre_ldal)]

R語言分類演算法之費希爾(Fisher)判別

5)評測預測結果

table(data_test$Species,pre_ldal$class)
error_lda1=sum(as.numeric(as.numeric(pre_ldal$class)!=as
 
.numeric(data_test$Species)))/nrow(data_test)

R語言分類演算法之費希爾(Fisher)判別

相關推薦

R語言分類演算法之線性判別分析(Linear Discriminant Analysis)

1.線性判別原理解析 基本思想是”投影”,即高緯度空間的點向低緯度空間投影,從而簡化問題的處理.在原座標系下,空間中的點可能很難被分開,如圖8-1,當類別Ⅰ和類別Ⅱ中的樣本點都投影至圖中的”原

ML-64: 機器學習之線性判別分析(Linear Discriminant Analysis)降維演算法+程式碼

線性判別分析(Linear Discriminant Analysis)降維演算法 機器學習分為監督學習、無監督學習和半監督學習(強化學習)。無監督學習最常應用的場景是聚類(clustering)和降維(dimension reduction)。聚類演算法包括

R語言分類演算法之距離判別(Distance Discrimination)

1.距離判別原理分析 根據待判定樣本與已知類別樣本之間的距離遠近做出判斷.根據已知類別樣本資訊建立距離判別函式式,再將各待判定樣本的屬性資料逐一代入式中計算,得到距離值,再根據此將樣本判入距離值最小的

線性判別分析(Linear Discriminant Analysis, LDA）演算法分析

原文地址 LDA演算法入門 一． LDA演算法概述： 線性判別式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher線性判別(Fisher Linear Discriminant ,FLD)，是模式識別的經典演算法，它是

線性判別分析(Linear Discriminant Analysis, LDA) 學習筆記 + matlab實現

綜述 線性判別分析 (LDA)是對費舍爾的線性鑑別方法(FLD)的歸納，屬於監督學習的方法。LDA使用統計學，模式識別和機器學習方法，試圖找到兩類物體或事件的特徵的一個線性組合，以能夠特徵化或區分它們。所得的組合可用來作為一個線性分類器，或者，更常見的是，為後

R語言分類演算法之整合學習（Bootstrap Aggregating）

1.整合學習（Bootstrap Aggregating）原理分析: Bagging是Bootstrap Aggregating的縮寫,簡單來說,就是通過使用boostrap抽樣得到若干不同的訓練集,以這些訓練集分別建立模型,即得到一系列的基分類器,這些分類器

機器學習筆記之（4）——Fisher分類器（線性判別分析，LDA）

本博文為Fisher分類器的學習筆記~本博文主要參考書籍為：《Python大戰機器學習》Fisher分類器也叫Fisher線性判別（Fisher Linear Discriminant），或稱為線性判別分析（Linear Discriminant Analysis，LDA）。

R語言學習-第九課-判別分析

判別分析 discriminat analysis,是多變數統計中用於判別樣品所屬類別的一種統計分析方法。它所解決的問題是在一些已知研究物件已經用某種方法分成若干類的情況下，確定新的樣品屬於已知類別中的哪一類。 判別分析的主要方法如下：   1：Fisher判別

R語言學習筆記之相關性矩陣分析及其視覺化

機器學習降維之線性判別分析

1. LDA描述 線性判別分析(Linear Discriminant Analysis,LDA)是一種有監督學習演算法，同時經常被用來對資料進行降維，它是Ronald Disher在1936年發明的，有些資料上也稱位Fisher LDA.LDA是目前機器學習、資料探勘領域中經典且熱門的一種演算法 相比於PC

高斯判別分析 Gaussian Discriminant Analysis

方差 targe clas blog log 通過 post 高斯 gist 之前我們分析Logistic Regression，通過求p(y|x)來判定數據屬於哪一個輸出分類，這種直接判定的方法稱為Discriminative Learning Algorithms，但還

文字分類之降維技術之特徵抽取之LDA線性判別分析

背景：為什麼需要特徵抽取？     基於的向量空間模型有個缺點，即向量空間中的每個關鍵詞唯一地代表一個概念或語義單詞，也就是說它不能處理同義詞和多義詞，然而實際情況是：一個詞往往有多個不同的含義，多個

機器學習之LDA線性判別分析模型

機器學習之LDA線性判別分析模型 # -*- coding: utf-8 -*- """ Created on Wed Nov 21 21:03:14 2018 @author: muli """ import matplotlib.pyplot as plt im

降維演算法（LASSO、PCA、聚類分析、小波分析、線性判別分析、拉普拉斯特徵對映、區域性線性嵌入）

1、LASSO LASSO全稱least absolute shrinkage and selection operator，本身是一種迴歸方法。與常規迴歸方法不同的是，LASSO可以對通過引數縮減對引數進行選擇，從而達到降維的目的。說到LASSO，就不得不說

機器學習演算法的Python實現 (1)：logistics迴歸 與 線性判別分析（LDA）

本文為筆者在學習周志華老師的機器學習教材後，寫的課後習題的的程式設計題。之前放在答案的博文中，現在重新進行整理，將需要實現程式碼的部分單獨拿出來，慢慢積累。希望能寫一個機器學習演算法實現的系列。 本文主要包括： 1、logistics迴歸 2、線性判別分析（LDA） 使

正常和縮減線性判別分析用於分類的區別（LDA 和 Shrinkage LDA）

通過圖中對比兩種演算法的卻別，噪聲特徵對樣本數的比值越來越大時普通lda分類效果越來越低，而shrinkage lda 下降並不多。 程式碼中有效特徵只有一個，其他都是噪音特徵 from __future__ import division

用於降維的線性判別分析（LDA）演算法

LDA降維演算法分為簡單兩類情況和多類通用情況只有兩類樣本的簡單情況：輸入：兩類樣本特徵目的：將兩類樣本的特徵投影至同類距離小，異類距離大的低維空間上，使得資料量減少的同時不損失分類資訊步驟：1，計算兩類樣本的均值u0和u1,協方差矩陣sigma0,sigma12，假設投影空

線性判別分析(LDA)和python實現（多分類問題）

上一篇寫過線性判別分析處理二分類問題https://blog.csdn.net/z962013489/article/details/79871789，當使用LDA處理多分類問題時，通常是作為一個降維工具來使用的。若我們有一個D維的樣本集，該樣本集包含C個類別共

Python機器學習筆記：線性判別分析（LDA）演算法

預備知識 　　首先學習兩個概念： 　　線性分類：指存在一個線性方程可以把待分類資料分開，或者說用一個超平面能將正負樣本區分開，表示式為y=wx，這裡先說一下超平面，對於二維的情況，可以理解為一條直線，如一次函式。它的分類演算法是基於一個線性的預測函式，決策的邊界是平的，比如直線和平面。一般的方法有感知器，最小

LDA 線性判別分析

討論 report 二維 一個 tutorial 沒有 ron get 是否 http://blog.csdn.net/porly/article/details/8020696 1. LDA是什麽 線性判別式分析（Linear Discriminant Anal