sklearn的機器學習之路：樸素貝葉斯

1. 基礎概念

什麼是樸素貝葉斯：貝葉斯分類是一類分類演算法的總稱，這類演算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。而樸素樸素貝葉斯分類是貝葉斯分類中最簡單，也是常見的一種分類方法。

貝葉斯公式：

P (Y | X) = \frac{P (X | Y) P (Y)}{P (X)}

X:特徵向量 Y:類別

先驗概率 $P (X)$ ：先驗概率:是指根據以往經驗和分析得到的概率。
後驗概率 $P (Y | X)$ ：事情已經發生，要求這件事情發生的原因是由某個因素引起的可能性的大小。
類條件概率 $P (X | Y)$ ：在已知某類別的特徵空間中，出現特徵值X的概率密度。

樸素：樸素貝葉斯演算法是假設各個特徵之間相互獨立

，也是樸素這詞的意思。那麼貝葉斯公式中

P (X | Y)

可寫成

P (X | Y) = P (x_{1} | Y) P (x_{2} | Y) \dots P (x_{n} | Y)

樸素貝葉斯公式：

P (Y | X) = \frac{P (x_{1} | Y) P (x_{2} | Y) \dots P (x_{n} | Y) P (Y)}{P (X)}

三種常見模型

多項式模型：多項式模型在計算先驗概率 $P (Y_{k})$ 和條件概率 $P (x_{i} | Y_{k})$ 時，會做一些平滑處理，具體公式為：
$P (Y_{k}) = \frac{N_{Y_{k}} + α}{N + K α}$

$N$ ：樣本數
$N_{Y_{k}}$

：類別為 $Y_{k}$ 的樣本數
$K$ ：總的類別個數
$α$ ：平滑值

P (x_{i} | Y_{k}) = \frac{N_{Y_{k}, x_{i}} + α}{N_{Y_{k}} + n α}

$N_{Y_{k}, x_{i}}$ ：類別為 $Y_{k}$ ，且特徵為 $x_{1}$ 的樣本數
$n$ ：特徵 $x_{1}$ 可以選擇的數量

演算法流程：
1. 處理資料，得到m個具有n個特徵的樣本，這些樣本分別屬於 ${Y_{1}, Y_{2}, Y_{3}}$

{Y_{1}, Y_{2}, Y_{3}}

類別（類別數量增多，這裡說明樸素貝葉斯處理多分類問題的流程）。
2. 通過資料分析可以得到每個特徵的類條件概率

P (x_{i} | Y)