(三)樸素貝葉斯運用——文字分類

當我們有樣本（包含特徵和類別）的時候，我們非常容易通過 $p (x) p (y | x) = p (y) p (x | y)$

x ) = p ( y ) p ( x | y ) $p(x)p(y|x) = p(y)p(x|y)$

統計得到 p(特徵|類別) .即

p (特 征) p (类 别 | 特 征) = p (类 别) p (特 征 | 类 别)

$p(特徵)p(類別|特徵) = p(類別)p(特徵|類別)$ ，有

\begin{matrix} (1) & p (类 别 | 特 征) = \frac{p (类 别) p (特 征 | 类 别)}{p (特 征)} \end{matrix}

$p(類別|特徵) = \frac{p(類別)p(特徵|類別)}{p(特徵)} \tag{1}$
獨立假設
特徵往往是多維的，

p (f e a t u r e s | c l a s s) = p (f_{0}, f_{1}, \dots, f_{n} | c)

$p(features|class) = p({f_0, f_1, \ldots ,f_n}|c)$ ，這裡假設為2維，有

\begin{matrix} (2) & p (f_{0}, f_{1} | c) = p (f_{1} | c, f_{0}) p (f_{0} | c) \end{matrix}

$p({f_0, f_1}|c) = p(f_1|c, f_0)p(f_0|c) \tag{2}$
假設特徵之間是獨立的(樸素貝葉斯的思想)

\begin{matrix} (3) & p (f_{0}, f_{1} | c) = p (f_{1} | c) p (f_{0} | c) \end{matrix}

$p({f_0, f_1}|c) = p(f_1|c)p(f_0|c) \tag{3}$
即

\begin{matrix} (4) & p (f_{0}, f_{1}, \dots, f_{n} | c) = Π_{i}^{n} p (f_{i} | c) \end{matrix}

$p({f_0, f_1, \ldots, f_n}|c) = \Pi^n_i p(f_i|c) \tag{4}$
貝葉斯分類器
對每個類別計算一個概率

p (c_{i})

$p(c_i)$ ，然後再計算所有特徵的條件概率

p (f_{j} | c_{i})

$p(f_j|c_i)$ ，那麼分類的時候我們就是依據貝葉斯找一個最可能的類別：

\begin{matrix} (5) & p (c l a s s_{i} | f_{0}, f_{1}, \dots, f_{n}) = \frac{p (c l a s s_{i})}{p (f_{0}, f_{1}, \dots, f_{n})} Π_{j}^{n} p (f_{j} | c_{i}) \end{matrix}