視訊地址

本視訊給出在對數機率迴歸使用這個成本函式的理由。
在之前的對數機率迴歸中，預測 $\hat{y}=\sigma ({\omega }^T$

因為 $\log$ 函式是單調遞增的，對 $P(y|x)$ 取對數，得到
$\log P(y|x)=y\log\hat y+(1-y)\log(1-\hat y)=-L(y,\hat y),$這是單個樣本的成本函式。

至於在 $M$ 個樣本上的整體的損失函式，如果假設訓練例項獨立抽取或獨立同分布（IID），那麼，
$P(training)=\Pi_{i=1}^nP(y^{(i)}|x^{(i)}).$

所以，如果你想進行最大似然估計，那麼最大化 $P(training)$ 與最大化它的對數是等同的。即最大化以下式子：
$\log P(training)=\sum_{i=1}^n\log P(y^{(i)}|x^{(i)})=-\sum_{i=1}^n-L(y^{(i)},\hat y^{(i)}).$

統計學中有一個被稱為“極大似然估計”的原理，它選擇能夠最大化 $\log P(training)$ 的引數。
對數機率迴歸要最小化的的代價函式 $J(\omega,b)=\frac 1 N\sum_{i=1}^n-L(y^{(i)},\hat y^{(i)})$ 就相當於在各個樣本被獨立同分布（IID）抽取情況下概率的極大似然估計。