機器學習判別式與生成式

摘要： 在機器學習中，對於監督學習我們可以將其分為兩類模型：判別式模型和生成式模型。可以簡單地說，生成式模型是針對聯合分佈進行建模，而判別式模型則針對條件分佈建模。 從感性上認識，生成式能學習到更多資訊，而判別式則較少，就好比學習英語，有類人只學會聽懂這是英語，有類人學會了聽懂這是英語並且知道說的...

在機器學習中，對於監督學習我們可以將其分為兩類模型：判別式模型和生成式模型。可以簡單地說，生成式模型是針對聯合分佈進行建模，而判別式模型則針對條件分佈建模。

從感性上認識，生成式能學習到更多資訊，而判別式則較少，就好比學習英語，有類人只學會聽懂這是英語，有類人學會了聽懂這是英語並且知道說的是什麼。另外，生成式模型在一定條件下也可以轉換成判別式模型，比如通過貝葉斯公式進行轉換。

常見生成式模型

• 混合高斯模型，估計了不同輸入和類別的聯合分佈。
• 樸素貝葉斯，模型訓練時採用聯合概率分佈積。
• 隱馬爾科夫模型，建立了狀態序列和觀察序列的聯合分佈。
• 貝葉斯網路，概率圖模型中的有向圖網路，對聯合分佈建模，由各自區域性條件概率分佈相乘。
• 馬爾科夫隨機場，概率圖模型中無向圖網路，同樣對聯合分佈建模，分解為極大團上勢函式的乘積。