判別模型（Discriminative model）和生成模型（generative model）

  監督學習又可以分為兩類，（只有監督學習才會有判別和生成的概念）
  1）判別模型（Discriminative model）：SVM和邏輯迴歸
  2）生成模型（generative model）：實際上，生成模型是對聯合概率分佈p(x,y)=p(x|y)p(y)進行學習的。常用的生成模型有樸素貝葉斯，隱馬爾可夫等，HMM等。

感性認識

例子1

  對面一個人走過來，和你說了一句話，你需要識別出她說的到底是漢語、英語還是法語等。那麼你可以有兩種方法達到這個目的：
　　1）學習每一種語言，你花了大量精力把漢語、英語和法語等都學會了，我指的學會是你知道什麼樣的語音對應什麼樣的語言。然後再有人過來對你哄，你就可以知道他說的是什麼語音。這就是GM----生成模型。
　　2）不去學習每一種語言，你只學習這些語言模型之間的差別，然後再分類。意思是指我學會了漢語和英語等語言的發音是有差別的，我學會這種差別就好了。這就是DM----判別模型。

例子2

  對於跟蹤演算法而言
　　生成模型：一般是學習一個代表目標的模型，然後通過它去搜索影象區域，然後最小化重構誤差。類似於生成模型描述一個目標，然後就是模式匹配了，在影象中找到和這個模型最匹配的區域，就是目標了。如：argmax。
　　判別模型：將跟蹤問題看成一個二分類問題，然後找到目標和背景的決策邊界。它不管目標是怎麼描述的，那隻要知道目標和背景的差別在哪，然後你給一個影象，它看它處於邊界的那一邊，就歸為哪一類。

理論解釋

  機器學習方法可以分為生成方法（generative approach）和判別方法（discriminative approach），所學到的模型分別稱為生成式模型（generative model）和判別式模型（discriminative model）。

  1）生成式模型
　　生成模型與判別模型恰恰相反，通常給出的輸入是影象具備的性質，而輸出是性質對應的影象。這種生成模型相當於構建了影象的分佈，因此利用這類模型，我們可以完成影象自動生成（取樣）、影象資訊補全等工作。
　　生成方法通過觀測資料學習樣本與標籤的聯合概率分佈P(X, Y)，訓練好的模型能夠生成符合樣本分佈的新資料，它可以用於有監督學習和無監督學習。
　　在深度學習之前已經有很多生成模型，但苦於生成模型難以描述難以建模，科研人員遇到了很多挑戰，而深度學習的出現幫助他們解決了不少問題。本章就介紹基於深度學習思想的生成模型——VAE和GAN，以及GAN的變種模型。
　　
  2）判別式模型
　　判別式模型，這種模型的形式主要是根據原始影象推測影象具備的一些性質，例如根據數字影象推測數字的名稱，根據自然場景影象推測物體的邊界。
　　基本是隻有在說分類問題時才有“判別”的概念！！