統計學習方法—樸素貝葉斯法（學習筆記）

相關概念
貝葉斯定理是關於隨機事件 $A$ 和 $B$ 的條件概率的一則定理， $P (A ∣ B)$ 是在B發生的情況下A發生的可能。貝葉斯公式

P (B_{i} ∣ A) = \frac{P (B_{i}) P (A ∣ B_{i})}{\sum_{j = 1}^{n} P (B_{j}) P (A ∣ B_{j})}

這就是“貝葉斯定理”
生成模型

樸素貝葉斯法
樸素貝葉斯法是生成學習方法
模型
樸素貝葉斯法利用貝葉斯定理與學到的聯合概率模型進行分類預測。

P (Y ∣ X) = \frac{P (X, Y)}{P (X)} = \frac{P (Y) P (X ∣ Y)}{\sum_{Y} P (Y) P (X ∣ Y)}

將輸入

x

分到後驗概率最大的類

y

。

y = a r g m a x_{c_{k}} P (Y = c_{k}) \prod_{j = 1}^{n} P (X_{j} = x^{(j)} ∣ Y = c_{k})

後驗概率最大等價於0-1損失函式時的期望風險最小化。
策略
在樸素貝葉斯法中，學習意味著估計

P (Y = c_{k})

和

P (X^{(j)} = x^{(j)} ∣ Y = c_{k})

極大似然估計
貝葉斯估計
樸素貝葉斯演算法
輸入：訓練資料

T = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{N}, y_{N})}

,其中，

x_{i} = (x_{i}^{(1)}, x_{i}^{(2)}, \dots, x_{i}^{(n)})^{T}

x_{i}^{(j)}

是第

i

個樣本的第

j

個特徵，

x_{i}^{(j)} \in {a_{j} 1, a_{j} 2, \dots, a_{j} s_{j}}

a_{j l}