1. 程式人生 > >生成模型和判別模型對比

生成模型和判別模型對比

比如說你的任務是識別一個語音屬於哪種語言。例如對面一個人走過來,和你說了一句話,你需要識別出她說的到底是漢語、英語還是法語等。那麼你可以有兩種方法達到這個目的:用生成模型的方法是學習每一種語言,你花了大量精力把漢語、英語和法語等都學會了,我指的學會是你知道什麼樣的語音對應什麼樣的語言。然後再有人過來對你說話,你就可以知道他的語言對應什麼語言;用判別模型的方法是不去學習每一種語言,你只學習這些語言模型之間的差別,然後再分類。意思是指我學會了漢語和英語等語言的發音是有差別的,我學會這種差別就好了。

   生成模型的特點:一般主要是對後驗概率建模,從統計的角度表示資料的分佈情況,能夠反映同類資料本身的相似度。只關注自己的inclass本身,不關心到底 decision boundary在哪。
- 優點:
    實際上帶的資訊要比判別模型豐富,
    研究單類問題比判別模型靈活性強
    模型可以通過增量學習得到
    能用於資料不完整(missing data)情況
    modular construction of composed solutions to complex problems
    prior knowledge can be easily taken into account
    robust to partial occlusion and viewpoint changes
    can tolerate significant intra-class variation of object appearance
- 缺點:
    tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows
    學習和計算過程比較複雜

     判別模型的特點:判別模型是尋找不同類別之間的最優分類面,反映的是異類資料之間的差異。

- 優點:
    分類邊界更靈活,比使用純概率方法或生產模型得到的更高階。
    能清晰的分辨出多類或某一類與其他類之間的差異特徵
    在聚類、viewpoint changes, partial occlusion and scale variations中的效果較好
    適用於較多類別的識別
    判別模型的效能比生成模型要簡單,比較容易學習
- 缺點:
    不能反映訓練資料本身的特性。能力有限,可以告訴你的是1還是2,但沒有辦法把整個場景描述出來。
    Lack elegance of generative: Priors, 結構, 不確定性
    Alternative notions of penalty functions, regularization, 核函式
    黑盒操作: 變數間的關係不清楚,不可視    

     兩者之間的關係:由生成模型可以得到判別模型,但由判別模型得不到生成模型。

                               當存在隱變數(當我們找不到引起某一現象的原因的時候,我們就把這個在起作用,但是,無法確定的因素,叫“隱變數”) 時,仍可以利用生成方法學習,此時判別方法不能用。

 典型應用

    生成模型:樸素貝葉斯方法、隱馬爾可夫模型

    判別模型:k近鄰法、感知機、決策樹、邏輯斯諦迴歸模型、最大熵模型、支援向量機、提升方法、條件隨機場

相關推薦

生成模型判別模型對比

比如說你的任務是識別一個語音屬於哪種語言。例如對面一個人走過來,和你說了一句話,你需要識別出她說的到底是漢語、英語還是法語等。那麼你可以有兩種方法達到這個目的:用生成模型的方法是學習每一種語言,你花了大量精力把漢語、英語和法語等都學會了,我指的學會是你知道什麼樣的語音對應什麼

生成模型判別模型

特征 數據 學習方法 最大 mem 針對 表示 不能 問題 1、定義: 生成模型(或稱產生式模型)和判別模型(或稱判別式模型)的本質區別在於模型中觀測序列x和狀態序列y的決定關系。前者假設y決定x,後者假設x決定y。 2、生成模型特點 2.1、生成模型以“狀態序列y按照一定

機器學習之---生成模型判別模型

  監督學習方法可分為兩大類,即生成方法與判別方法,它們所學到的模型稱為生成模型與判別模型。 判別模型:判別模型是學得一個分類面(即學得一個模型),該分類面可用來區分不同的資料分別屬於哪一類; 生成模型:生成模型是學得各個類別各自的特徵(即可看成學得多個模型),可用這些

【機器學習】生成模型判別模型

定義: 生成方法由資料學習聯合概率分佈P(x, y),然後求出條件概率分佈P(y|x)作為預測的模型。 包括樸素貝葉斯,貝葉斯網路,高斯混合模型,隱馬爾科夫模型等。 判別方法由資料直接學習決策函式

機器學習---生成模型判別模型

【摘要】判別式模型,就是隻有一個模型,你把測試用例往裡面一丟,label就出來了,如SVM。生成式模型,有多個模型(一般有多少類就有多少個),你得把測試用例分別丟到各個模型裡面,最後比較其結果,選擇

生成模型判別模型的區別

1.監督學習分為生成模型和判別模型 有監督機器學習方法可以分為生成方法和判別方法(常見的生成方法有混合高斯模型、樸素貝葉斯法和隱形馬爾科夫模型等,常見的判別方法有SVM、LR等),生成方法學習出的是生成模型,判別方法學習出的是判別模型。 2.生成模型

監督學習:生成模型判別模型

生成模型與判別模型        一直在看論文的過程中遇到這個問題,折騰了不少時間,然後是下面的一點理解,不知道正確否。若有錯誤,還望各位前輩不吝指正,以免小弟一錯再錯。在此謝過。 一、決策函式Y=f(X)或者條件概率分佈P(Y|X)        監督學習的任務就是從

監督學習中的“生成模型判別模型

ref: http://blog.csdn.net/zouxy09/article/details/8195017  講的非常清晰了。該內容部分來自於維基百科。兩者都是概率統計模型,從維基上的解釋來看生成模型(Generative Model):定義了在觀測{X}和結果{Y}

機器學習:生成模型判別模型

經典提問:Navie Bayes和Logistic迴歸區別是什麼? Navie Bayes是生成式模型,Logistic迴歸是判別式模型,二者的區別就是生成式模型與判別式模型的區別。 首先,Navie Bayes通過已知樣本求得先驗概率P(Y), 及條件概率P(X|Y),

生成模型判別模型的理解

【摘要】    - 生成模型:無窮樣本==》概率密度模型 = 產生模型==》預測    - 判別模型:有限樣本==》判別函式 = 預測模型==》預測【簡介】簡單的說,假設o是觀察值,q是模型。如果對P(o|q)建模,就是Generative模型。其基本思想是首先建立樣本的概

生成模型判別模型,自己看完資料後總結

1. Ref:  http://blog.csdn.net/zouxy09/article/details/8195017  講的非常清晰了。http://www.cnblogs.com/lifegoesonitself/p/3437747.html ---進一步補充豐富理

生成模型判別模型(《統計學習方法》截圖)

技術分享 img http htm mage info alt 統計學 www. 有一篇博客寫的很好,給上鏈接: https://www.cnblogs.com/xiaoshayu520ly/p/9079435.html生成模

聯合概率與聯合分佈、條件概率與條件分佈、邊緣概率與邊緣分佈、貝葉斯定理、生成模型(Generative Model)判別模型(Discriminative Model)的區別

在看生成模型和判別模型之前,我們必須先了解聯合概率與聯合分佈、條件概率與條件分佈、邊緣概率與邊緣分佈、貝葉斯定理的概念。 聯合概率與聯合概率分佈: 假設有隨機變數X與Y, 此時,P(X=a,Y=b)用於表示X=a且Y=b的概率。這類包含多個條件且所有條件同時成立的概率稱為聯合概率。聯合概

統計學習:泛化能力、生成模型判別模型、分類、標註迴歸問題

宣告: 1.本文章為參考相關書籍和前輩經驗所寫,只為個人學習專用。 2.若有內容錯誤之處請大家留言改進。 3.若有引用不當之處,請告知本人,會進行相關處理。 泛化能力 泛化誤差 學習方法的泛化能力(generalization ab

ML13生成模型判別模型

轉載自GitHub:http://t.cn/E76fhB6 生成模型與判別模型 監督學習的任務是學習一個模型,對給定的輸入預測相應的輸出 這個模型的一般形式為一個決策函式或一個條件概率分佈(後驗概率):

理解生成模型判別模型

導言 我們都知道,對於有監督的機器學習中的分類問題,求解問題的演算法可以分為生成模型與判別模型兩種型別。但是,究竟什麼是生成模型,什麼是判別模型?不少書籍和技術文章對這對概念的解釋是含糊的。在今天這篇文章中,我們將準確、清晰的解釋這一組概念。 第一種定義 對於判別模型和生成模型有兩種定義

生成方法vs判別方法+生成模型vs判別模型

監督學習的方法可以分為2類,生成方法(generative approach)和判別方法(discriminative approach),所學到的模型分別為生成模型(generative model)和判別模型(discriminative model)。   生成方法:

生成模型判別模型

一、決策函式Y=f(X)或者條件概率分佈P(Y|X) 監督學習的任務就是從資料中學習一個模型(也叫分類器),應用這一模型,對給定的輸入X預測相應的輸出Y。這個模型的一般形式為決策函式Y=f(X)或者條件概率分佈P(Y|X)。 決策函式Y=f(X):你輸入一個

生成模型判別模型的區別

引入監督學習的任務就是學習一個模型(或者得到一個目標函式),應用這一模型,對給定的輸入預測相應的輸出。這一模型的一般形式為一個決策函式Y=f(X),或者條件概率分佈P(Y|X)。監督學習方法又可以分為生成方法(generative approach)和判別方法(discriminative approach)

生成模型 VS 判別模型

監督學習方法又分生成方法(Generative approach)和判別方法(Discriminative approach),所學到的模型分別稱為生成模型(Generative Model)和判別模(Discriminative Model)。 判別模型:由資料直接學習決