課程概要：

1.生成學習演算法（Generative learning algorithm）
2.高斯判別分析（GDA，Gaussian Discriminant Analysis）

3.GDA與logistic模型的聯絡

4.樸素貝葉斯（Naive Bayes）
5.拉普拉斯平滑（Laplace smoothing）

一、生成學習演算法

兩種學習演算法的定義

1 判別學習演算法：直接學習p(y|x)，其中x是某類樣例的特徵，y是某類樣例的分類標記。即給定輸入特徵，輸出所屬的類或學習得到一個假設hθ(x)，直接輸出0或1。通俗的說就是直接對問題求解，比如logistic演算法，在解空間中尋找一條直線從而把兩種類別的樣例分開。

2生成學習演算法：  對p(x|y)（條件概率），p(y)（先驗概率）進行建模，p(x|y)表示在給定所屬的類的情況下，顯示某種特徵的概率。

然後根據貝葉斯公式（Bayes rule）推匯出y在給定x的概率為：

使得後驗概率最大的類別y即是新樣例的預測值：

二、高斯判別分析

       高斯判別分析（GDA）演算法即為一種生成學習演算法。

高斯判別分析的兩個假設：

• 假設輸入特徵x∈Rn，並且是連續值;
• p(x|y)是多維正態分佈（即高斯分佈）;

2.1 多維正態分佈

       多維正態分佈是正態分佈在多維變數下的拓展。均值向量（mean vector），協方差矩陣（convariance matrix）

（其中n是多維變數的向量長度），寫成z~N(μ,∑)， 其密度函式為：

其中表示行列式（determinant）。

對於服從多維正態分佈的隨機變數x，均值由下面的公示得到：

協方差矩陣與協方差函式得到：

Cov(Z)== = ∑                   （5）

對於多維高斯分佈只要注意上述兩個引數即可。

多維高斯分佈圖像與引數的關係

左圖：μ=0，∑=I（單位矩陣）

中圖：μ=0，∑=0.6I，圖形變陡峭

右圖：μ=0，∑=2I，圖形變扁平

三圖中μ=0，∑如下：

可見增加矩陣對角元素的值，即變數間增加相關性，高斯曲面會沿z1=z2（兩個水平軸）方向趨於扁平。其水平面投影圖如下：

即增加∑對角線的元素，圖形會沿45°角，偏轉成一個橢圓形狀。

若∑對角線元素為負，圖形如下：

∑分別為：

不同μ的圖形如下：

μ分別為：

多維高斯分佈圖像與引數總結：

μ決定分佈曲線中心的位置。

協方差∑決定陡峭程度。

GDA模型

GDA模型針對的是輸入特徵為連續值時的分類問題。

     這個模型的額基本假設是目標值y服從伯努利分佈，條件概率p(x|y)服從多維正態分佈。所以，他們的概率密度為：

所以資料集的極大似然函式的對數如下所示：

對極大似然函式對數最大化，我們就得到了GDA模型的各引數的極大似然估計，即得到了如何使用GDA演算法的方法。
各個引數的極大似然估計如下：

結果如圖所示：

三、GDA與logistics模型的聯絡

GDA模型和logistic迴歸有一個很有意思的關係.
如果把 看做是x的函式，則有：

其中是的函式，這正是logistic迴歸的形式.。如下圖形：

關於模型的選擇：
剛才說到如果p(x|y)是一個多維的高斯分佈，那麼p(y|x)必然能推出一個logistic函式；反之則不正確，p(y|x)是一個logistic函式並不能推出p(x|y)服從高斯分佈.這說明GDA比logistic迴歸做了更強的模型假設.

• 如果p(x|y)真的服從或者趨近於服從高斯分佈，則GDA比logistic迴歸效率高.
• 當訓練樣本很大時，嚴格意義上來說並沒有比GDA更好的演算法（不管預測的多麼精確）.
• 事實證明即使樣本數量很小，GDA相對logisic都是一個更好的演算法.

但是，logistic迴歸做了更弱的假設，相對於不正確的模型假設，具有更好的魯棒性（robust）.許多不同的假設能夠推出logistic函式的形式. 比如說，如果那麼p(y|x)是logistic. logstic迴歸在這種型別的Poisson資料中效能很好. 但是如果我們使用GDA模型，把高斯分佈應用於並不是高斯資料中，結果是不好預測的，GDA就不是很好了.

總結：

GDA優點：預測更精確，需要的資料少。缺點：做的假設更強，需要資料服從高斯分佈才會有很好的效果。

logistic適用範圍更廣，魯棒性好。缺點：需要資料多，如果資料近似服從高斯分佈，不如GDA迴歸的好。

四、樸素貝葉斯

樸素貝葉斯（NB）也是一種學習演算法。GDA針對的是特徵向量x為連續值時的問題，而樸素貝葉斯則針對的是特徵向量x為離散值時的問題。

樸素貝葉斯最常用與文字的分類，例如甄別郵件是否為垃圾郵件。

例子:垃圾郵件分類問題
首先是把一封郵件作為輸入特徵，與已有的詞典進行比對，如果出現了該詞，則把向量的xi=1,否則xi=0,例如：

我們要對p(x|y)建模，但是假設我們的詞典有50000個詞，那麼，如果採用多項式建模的方式，會有，明顯引數太多了，這個方法是行不通的.

為了對p(x|y)建模，我們做一個很強的假設，假設給定y，xi是條件獨立(conditionally independent)的.這個假設成為樸素貝葉斯假設（Naive Bayes assumption).

因此得到下式：

樸素貝葉斯假設在文字分類問題上的解釋為文字中出現某詞語時不會影響其他詞語在文字中出現的頻率。

模型中的引數有：

於是，我們就得到了NB方法的極大似然估計函式：

其中n為詞典大小，最大化該函式，我們得到引數的極大似然估計：

Φi|y=1的分子為標記為1的郵件（垃圾郵件）中出現詞j的郵件數目和，分母為垃圾郵件數，總體意義就是訓練集中出現詞j的垃圾郵件在垃圾郵件中的比例。

Φi|y=0就是出現詞j的非垃圾郵件在非垃圾郵件中的比例。

Φy就是垃圾郵件在所有郵件中的比例。

求出上述引數，就知道了p(x|y)和p(y)，用伯努利分佈對p(y)建模，用上式中p(xi|y)的乘積對p(x|y)建模，通過貝葉斯公式就可求得p(y|x)

對於新樣本，按照如下公式計算其概率：

總結：樸素貝葉斯的總體思想即根據貝葉斯公式，先求條件概率與先驗概率，在得出結果。具體在本例中即先分別求出為垃圾郵件時出現某詞的頻率，和為非垃圾郵件時出現某詞的頻率以及垃圾郵件的頻率，然後根據貝葉斯公式，求出出現某詞時為垃圾郵件的頻率

樸素貝葉斯的問題：
假設在一封郵件中出現了一個以前郵件從來沒有出現的詞，在詞典的位置是35000，那麼得出的最大似然估計為：

也即使說，在訓練樣本的垃圾郵件和非垃圾郵件中都沒有見過的詞，模型認為這個詞在任何一封郵件出現的概率為0.
假設說這封郵件是垃圾郵件的概率比較高，那麼

模型失靈.

在統計上來說，在你有限的訓練集中沒有見過就認為概率是0是不科學的.

五、拉普拉斯平滑

   拉普拉斯平滑又稱為加1平滑，是比較常用的平滑方法，使用拉普拉斯平滑即可解決上述概率為0的問題。

對於一個隨機變數，它的取值範圍是{1,2,3...k},m次實驗後的觀測結果為Z(i),極大似然估計按照下式計算：

即值為j的樣本所佔比例，對其用Laplace平滑如下式：

比如如果一支球隊連勝7場，那他下一場也被擊敗的概率是多少？如果按照樸素貝葉斯演算法，那麼它下一場被擊敗的概率為0（p=0/5+0），這顯然是不合理的；按照拉普拉斯平滑，它下場被擊敗的概率為1/(7+1+0+1)=1/9,這個結果看起來還是挺合理的。如果用拉普拉斯平滑計算太陽明天不會照常升起的概率就是大約1/46億了。

回到樸素貝葉斯問題，通過laplace平滑：

分子加1，分母加1就把分母為零的問題解決了.