1. 簡介  

生成式模型(generative model)會對\(x\)和\(y\)的聯合分佈\(p(x,y)\)進行建模,然後通過貝葉斯公式來求得\(p(y|x)\), 最後選取使得\(p(y|x)\)最大的\(y_i\). 具體地, \(y_{*}=arg \max_{y_i}p(y_i|x)=arg \max_{y_i}\frac{p(x|y_i)p(y_i)}{p(x)}=arg \max_{y_i}p(x|y_i)p(y_i)=arg \max_{y_i}p(x,y_i)\).

  判別式模型(discriminative model)則會直接對\(p(y|x)\)進行建模.

  關於二者之間的優劣有大量的討論. SVM的發明者Vapnik聲稱"one should solve the (classification) problem directly and never solve a more general problem as an intermediate step [such as modeling p(x|y)]", 但是, 最近Deep Learning大行其道, 其代表性演算法DBN就是生成式模型. 通常來說, 因為生成式模型要對類條件密度(class conditional density)\(p(x|y_i)\)進行建模, 而判別式模型只需要對類後驗密度(class-posterior density)進行建模, 前者通常會比後者要複雜, 更難以建模, 如下圖所示.

2. 對比

下面簡單比較下生成式模型和判別式模型的優缺點.

  1. 一般來說, 生成式模型都會對資料的分佈做一定的假設, 比如樸素貝葉斯會假設在給定\(y\)的情況下各個特徵之間是條件獨立的:\(p(X|y)=\prod_{i=1}^{N}p(x_i|y)\), GDA會假設

\(p(X|y=c,\theta)=\mathcal{N}(\mu_c,\Sigma_c)\). 當資料滿足這些假設時, 生成式模型通常需要較少的資料就能取得不錯的效果, 但是當這些假設不成立時, 判別式模型會得到更好的效果.

  2. 生成式模型最終得到的錯誤率會比判別式模型高, 但是其需要更少的訓練樣本就可以使錯誤率收斂[限於Genarative-Discriminative Pair, 詳見[2]].

  3. 生成式模型更容易擬合, 比如在樸素貝葉斯中只需要計下數就可以, 而判別式模型通常都需要解決凸優化問題.

  4. 當新增新的類別時, 生成式模型不需要全部重新訓練, 只需要計算新的類別\(y_new\)和\(x\)的聯合分佈\(p(y_new,x)\)即可, 而判別式模型則需要全部重新訓練.

  5. 生成式模型可以更好地利用無標籤資料(比如DBN), 而判別式模型不可以.

  6. 生成式模型可以生成\(x\), 因為判別式模型是對\(p(x,y)\)進行建模, 這點在DBN的CD演算法中中也有體現, 而判別式模型不可以生成\(x\).

  7. 判別式模型可以對輸入資料\(x\)進行預處理, 使用\(\phi(x)\)來代替\(x\), 如下圖所示, 而生成式模型不是很方便進行替換.

  左圖中直接使用\(x\)進行邏輯斯蒂迴歸, 而右圖則使用徑向基核對\(x\)進行變換後再使用邏輯斯蒂迴歸.

 3. 二者所包含的演算法

  3.1 生成式模型

• 判別式分析
• 樸素貝葉斯
• K近鄰(KNN)
• 混合高斯模型
• 隱馬爾科夫模型(HMM)
• 貝葉斯網路
• Sigmoid Belief Networks
• 馬爾科夫隨機場(Markov Random Fields)
• 深度信念網路(DBN)

  3.2 判別式模型

• 線性迴歸(Linear Regression)
• 邏輯斯蒂迴歸(Logistic Regression)
• 神經網路(NN)
• 支援向量機(SVM)
• 高斯過程(Gaussian Process)
• 條件隨機場(CRF)
• CART(Classification and Regression Tree)

參考文獻:

  [1]. Kevin P. Murphy. Machine Learning: A Probabilistic Perspective, Chapter 8.6, Page267-271.

  [2]. Andrew Y. Ng, Micheal I. Jordan. On Discrimintive vs. Generative Classifiers: A comparison of logistic regression and naive Bayes.