（作者：陳玓玏）

1. 損失函式

假設我們使用0-1損失函式，函式表示式如下：

$Y$為真實值，有 $c_1,c_{}$

2 , . . . , c K {c_1,c_2,...,c_K} 這 $K$個類標記， $f(X)$

是決策函式，其輸出值就是類標記的預測值，那麼對應的代價函式，也就是期望損失函式為：
$R_exp(X) = E(L(Y,f(X)))$
因為這裡的期望是對聯合概率取的，所以有如下關係：
$R_exp(X) = \sum_{k=1}^{K}L(c_k,f(X))P(c_k,X) = E_x\sum_{k=1}^{K}L(c_k,f(X))P(c_k|X)$
將 $L(Y,f(X))$代入，得到：
$R_exp(X) = \sum_{k=1}^{K}P(Y \neq c_k|X) = \sum_{k=1}^{K}(1-P(Y=c_k|X))$
要讓損失函式最小化，只需要和項中的每一項都是最小即可：
$min\sum_{k=1}^{K}(1-P(Y=c_k|X)) = max\sum_{k=1}^{K}P(Y=c_k|X) = maxP(Y=c_k|X)$
這也就是我們之後樸素貝葉斯演算法的依據：求得最大後驗概率即能最小化代價函式！

2. 求最大化後驗概率

基於上面的分析我們知道，對於資料集 $D = {(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$，當 $y_i$的可取值為 ${c_1,c_2,...,c_K}$時，我們對每個樣本 $x_i$求其對應不同類標記 $c_k$的後驗概率值，並選擇最後的後驗概率值對應的類標號 $c_k$作為樣本的分類結果，我們就能以最小的代價函式獲得最優的分類。

那麼，我們可以根據貝葉斯公式來求後驗概率：
$P(Y=c_k|X=x_i) = \frac{P(X=x_i|Y=c_k)P(Y=c_k)}{\sum_{k=1}^{K}P(X=x_i|Y=c_k)P(Y=c_k)}$

相關推薦