樸素貝葉斯(naive Bayes)法是基於貝葉斯定理與特徵條件獨立假設的分類方法。

目錄

樸素貝葉斯法

  設輸入空間X⊆Rn$X\subseteq {\mathbb{R}}^n$ 為n$n$ 維向量的集合，輸出空間為類標記集合Y={c1,c2,...,cK}$Y=\left\{c_1,c_2,...,c_K\right\}$ ，輸入特徵向量x∈X$x\in X$ ，輸出類標記為y∈Y$y\in Y$ ，P(X,Y)$P(X,Y)$ 是X$X$ 和Y$Y$ 的聯合概率分佈，資料集

T={(x1,y1),(x2,y2),...,(xn,yn)}$$T=\left\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\right\}$$

由P(X,Y)$P(X,Y)$ 獨立同分布產生。

  樸素貝葉斯法就是通過訓練集來學習聯合概率分佈

P(X,Y)$P(X,Y)$ .具體就是從先驗概率分佈和條件概率分佈入手，倆概率相乘即可得聯合概率。

  稱之為樸素是因為將條件概率的估計簡化了，對條件概率分佈作了條件獨立性假設，這也是樸素貝葉斯法的基石，假設如下

P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)$$
k=1,2,...,K$$k=1,2,...,K$$

  這個公式在之前的假設條件下等價於

∏j=inP(X(j)=x(j)|Y=ck)$$\prod _{j=i}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

  對於給定的輸入向量x

$x$ ,通過學習到的模型計算後驗概率分佈P(Y=Ck|X=x)$P(Y=C_k|X=x)$ ，後驗分佈中最大的類作為x$x$ 的輸出結果，根據貝葉斯定理可知後驗概率為

P(Y=ck|X=x)=P(X=x|Y=ck)P(Y=ck)∑kP(X=x|Y=ck)P(Y=ck)$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum _{k}P(X=x|Y=c_k)P(Y=c_k)}$$

  其中∑kP(X=x|Y=ck)P(Y=ck