用樸素貝葉斯分類演算法做中文文字分類

一. 樸素貝葉斯分類演算法的原理

樸素貝葉斯分類器基於屬性條件獨立假設：對於已知類別，假設所有屬性相互獨立，也就是說，假設每個屬性獨立地對分類結果產生影響。
設待分類的樣本屬性集為 $T$ ，其中包含 $n$ 個屬性，分別為 $t_{1}, t_{2}, t_{3} . . . t_{n}$ ，類別集合為 $γ$ ，當前待判斷類別為 $c$ ，基於屬性條件獨立性假設，可得：

P (c | T) = \frac{P (c) P (T | c)}{P (T)} = \frac{P (c)}{P (T)} \prod_{i = 1}^{n} P (t_{i} | c)

因為我們的目標是在當前的屬性集

T

下，找到一個儘可能正確的類別，也就是說，使得後驗概率

P (c | T)

儘可能大。又因為對於所有類別來說

P (T)

相同，所以樸素貝葉斯分類器

h_{n b}

的計算公式如下：

h_{n b} (T) = a r g m a x_{c \in γ} P (c) \prod_{i = 1}^{n} P (t_{i} | c)

可以看到上面的公式

\prod_{i = 1}^{n} P (t_{i} | c)

中

0 \leq P (t_{i} | c) \leq 1

，連乘運算很容易得到一個雙精度都難以表示的極小的數值，不利於計算。因此一般情況下對上面的公式兩邊取對數，得到如下公式：

l o g (h_{n b} (T)) = a r g m a x_{c \in γ} (l o g (P (c)) + \sum_{i = 1}^{n} l o g (P (t_{i} | c)))

另外

P (c)

和

P (t_{i} | c)

的計算公式如下：

P (c) = \frac{| D_{c} |}{| D |}

P (t_{i} | c) = \frac{| D_{c, t_{i}} |}{| D_{c} |}

其中，|D|表示訓練語料庫中包含的文件總數，

| D_{c} |

表示訓練語料庫中類別

c

包含的文件總數，