1. 程式人生 > >樸素貝葉斯原理

樸素貝葉斯原理

(1)全概率公式

  如果事件組 B 1 , B 2 ,

B_1,B_2,\dots 滿足:

  • B 1 , B 2
    , B_1,B_2,\dots
    兩兩互斥,即 B i B
    j = B_i ∩ B_j = \emptyset
    i j i≠j i , j = 1 , 2 , i,j=1,2,\dots ,且 P ( B i ) > 0 , i = 1 , 2 , P(B_i)>0,i=1,2,\dots
  • B 1 B 2 = Ω B_1∪B_2∪\dots=Ω ,則稱事件組 B 1 , B 2 , B_1,B_2,\dots 是樣本空間 Ω Ω 的一個劃分

  設 B 1 , B 2 , B_1,B_2,\dots 是樣本空間 Ω Ω 的一個劃分, A A 為任一事件,則:
P ( A ) = i = 1 P ( B i ) P ( A B i ) P(A)=\sum\limits_{i=1}^\infty P(B_i)P(A|B_i)
該式即為全概率公式。

(2)貝葉斯公式

  與全概率公式解決的問題相反,貝葉斯公式建立在條件概率的基礎上尋找事件發生的原因(即大事件 A A 已經發生的條件下,分割中的小事件 B i B_i 的概率),設 B 1 , B 2 , B_1,B_2,\dots 是樣本空間 Ω Ω 的一個劃分,則對任一事件 A ( P ( A ) > 0 ) A(P(A)>0) ,有
P ( B i A ) = P ( B i , A ) P ( A ) = P ( A B i ) P ( B i ) j = 1 n P ( A B j ) P ( B j ) P(B_i|A) = \dfrac{P(B_i,A)}{P(A)} = \dfrac{P(A|B_i)P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)}
上式為貝葉斯公式。 B i B_i 常被視為導致試驗結果 A A 發生的”原因“, P ( B i ) ( i = 1 , 2 ,   ) P(B_i)(i=1,2,\dots) 表示各種原因發生的可能性大小,故稱先驗概率 P ( B i A ) ( i = 1 , 2 ,   ) P(B_i|A)(i=1,2,\dots) 則反映當試驗產生了結果A之後,再對各種原因概率的新認識,故稱後驗概率

(3)分類任務表示式

貝葉斯公式可以轉為分類任務表示式:
P ( i j = 1 , 2 , ) = P ( j = 1 , 2 , i ) P ( i ) P ( j = 1 , 2 , ) P(類別_i|特徵_{j=1,2,\dots})=\dfrac{P(特徵_{j=1,2,\dots}|類別_i)P(類別_i)}{P(特徵_{j=1,2,\dots})}

(4)樸素貝葉斯

  樸素貝葉斯對條件概率分佈作了條件獨立性假設,具體的,條件獨立性假設是:
P ( X = x Y = c k ) = P ( X ( 1 ) = x ( 1 ) , X ( 2 ) = x ( 2 ) , , X ( n ) =