樸素貝葉斯(Nave Bayes)
阿新 • • 發佈:2019-01-09
1.條件概率
事件A和事件B 事件A發生的前提下事件B發生的概率: P(AB) = P(B|A)P(A)
舉例:
十個球其中 3 黑 7白,做兩次不放回的取球,求兩次都拿到黑球的概率(事件A為第一次取,事件B為第二次取。)
事件A 發生的概率 P(A) = 3/7,事件A發生的前提下B發生的概率: P(B|A) = 2/6
此時P(AB) = P(B|A)*P(A)
2.貝葉斯
貝葉斯公式:P(A|B) = P(B|A) * P(A) / P(B)
3.樸素貝葉斯
樸素貝葉斯分類是一種十分簡單的分類演算法,樸素貝葉斯的思想基礎是這樣的:對於給出的待分類項,求解在此項出現的條件下各個類別出現的概率,哪個最大,就認為此待分類項屬於哪個類別
假設給定x 判斷 x 屬於集合C中哪個y
其中p(x)是個給定的,所以 p(y | x) 正比於其分母項
4、樸素貝葉斯模型
樸素貝葉斯常用的三個模型有:
高斯模型:處理特徵是連續型變數的情況
多項式模型:最常見,要求特徵是離散資料
伯努利模型:要求特徵是離散的,且為布林型別,即true和false,或者1和0
5、貝葉斯演算法使用示例
醫院早上的六個病人情況如下:
現在又來了第七個病人,是一個打噴嚏的建築工人。請問他患上感冒的概率有多大?
求: p(感冒|工人, 打噴嚏) = p(工人, 打噴嚏|感冒) * p(感冒) / p(工人,打噴嚏)
= p(工人|感冒) * P(打噴嚏|感冒) * p(感冒) / p(工人) * p(打噴嚏)
= (1/3 * 2/3 * 3/6) / (2/6) * (3/6)
= 2/3