你要的答案或許都在這裡：小鵬的部落格目錄

學習樸素貝葉斯需要清楚下面幾個概念：

貝葉斯模型是指模型引數的推斷用的是貝葉斯估計方法，也就是需要指定先驗分佈，再求取後驗分佈。

貝葉斯分類是一類演算法的總稱，這類演算法均以貝葉斯定理為基礎，故統稱貝葉斯分類。而貝葉斯分類中最簡單的一種：樸素貝葉斯，即對條件概率分佈作了條件獨立性假設，

下面看一下某大神舉的簡單例子，看一下這種條件獨立性建設的方便性和實用性:

某個醫院早上收到了六個門診病人，如下表：

接下來，來了第七個看病的人，是一個打噴嚏的建築工人，計算他患上感冒的概率？照我們的經驗職業、症狀和疾病之間應該是存在聯絡的，但是使用要樸素貝葉斯，就要假設是獨立的。

根據貝葉斯定理：

　    P(A|B) = P(B|A) P(A) / P(B)

可得：

        P(感冒|打噴嚏x建築工人) 

　　　　        = P(打噴嚏x建築工人|感冒) x P(感冒)  /  P(打噴嚏x建築工人)

那麼可求得概率:（樸素體現在下面，既然獨立，就可以分開相乘）

        P(感冒|打噴嚏x建築工人) 

　　　　        = P(打噴嚏|感冒) x P(建築工人|感冒) x P(感冒)  / P(打噴嚏) x P(建築工人)

        P(感冒|打噴嚏x建築工人)  = 0.66 x 0.33 x 0.5 / 0.5 x 0.33  = 0.66

1. 樸素貝葉斯 學習與分類：

樸素貝葉斯 (naive Bayes) 法是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的訓練資料集，首先基於特徵條件獨立假設學習輸入/輸出的聯合概率分佈；然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出Y。

結合上面的例子看下面的公式更好理解：

基本方法：樸素貝葉斯法通過訓練資料集學習X和Y的聯合概率分佈P(X,Y)。具體地，學習以下先驗概率分佈及條件概率分佈。

先驗概率分佈：

條件概率分佈：

條件概率分佈有指數級數量的引數，其估計實際是不可行的。樸素貝葉斯法對條件概率分佈作了條件獨立性的假設。條件獨立性假設是說用於分類的特徵在類確定的條件下都是條件獨立的。

樸素貝葉斯法實際上學習到生成資料的機制，所以屬於生成模型。

樸素貝葉斯法通過最大後驗概率(MAP)準則進行類的判決，基於貝葉斯定理，後驗概率為：

分母相同，則分類器可表示為：

2. 樸素貝葉斯引數估計

根據上面的分類器表示式，可以看出回來，在使用的時候我們需要求解：先驗概率 和 條件概率分佈，也就是引數估計，主要有極大似然估計 和 貝葉斯估計：

極大似然估計：

先驗概率的極大似然估計:

設第j個特徵x(j)可能取值的集合為，條件概率的極大似然估計：

演算法流程如下：

貝葉斯估計：

用極大似然估計可能會出現所要估計的概率值為0的情況，使分類產生偏差，解決這一問題的方法是採用貝葉斯估計。條件概率的貝葉斯估計為：

式中lamda>=0。等價於在隨機變數各個取值的頻數上賦予一個正數。常取lamda=1，稱為拉普拉斯平滑( Laplace smoothing)。同樣，先驗概率的貝葉斯估計為：

推薦閱讀：