1. 程式人生 > >樸素貝葉斯(Nave Bayes)

樸素貝葉斯(Nave Bayes)

1.條件概率

  事件A和事件B 事件A發生的前提下事件B發生的概率: P(AB) = P(B|A)P(A)

  舉例:

    十個球其中 3 黑 7白,做兩次不放回的取球,求兩次都拿到黑球的概率(事件A為第一次取,事件B為第二次取。)

    事件A 發生的概率 P(A) = 3/7,事件A發生的前提下B發生的概率: P(B|A) = 2/6

    此時P(AB) = P(B|A)*P(A)

2.貝葉斯

  貝葉斯公式:P(A|B) = P(B|A) * P(A) / P(B) 

  

3.樸素貝葉斯 

  樸素貝葉斯分類是一種十分簡單的分類演算法,樸素貝葉斯的思想基礎是這樣的:對於給出的待分類項,求解在此項出現的條件下各個類別出現的概率,哪個最大,就認為此待分類項屬於哪個類別

。通俗來說,就好比這麼個道理,你在街上看到一個黑人,我問你你猜這哥們哪裡來的,你十有八九猜非洲。為什麼呢?因為黑人中非洲人的比率最高,當然人家也可能是美洲人或亞洲人,但在沒有其它可用資訊下,我們會選擇條件概率最大的類別,這就是樸素貝葉斯的思想基礎。

  假設給定x 判斷 x 屬於集合C中哪個y

    

  其中p(x)是個給定的,所以 p(y | x) 正比於其分母項

      

4、樸素貝葉斯模型

  樸素貝葉斯常用的三個模型有:

    高斯模型:處理特徵是連續型變數的情況

    多項式模型:最常見,要求特徵是離散資料

    伯努利模型:要求特徵是離散的,且為布林型別,即true和false,或者1和0

5、貝葉斯演算法使用示例

  醫院早上的六個病人情況如下:

        

  現在又來了第七個病人,是一個打噴嚏的建築工人。請問他患上感冒的概率有多大?

  求: p(感冒|工人, 打噴嚏) = p(工人, 打噴嚏|感冒) * p(感冒) / p(工人,打噴嚏)

               = p(工人|感冒) * P(打噴嚏|感冒) * p(感冒) / p(工人) * p(打噴嚏)

               = (1/3 * 2/3 * 3/6) / (2/6) * (3/6)

               = 2/3