損失函式一般用作機器學習的目標函式，訓練引數的目的是使損失最小化。一般的方法是求導得0。先介紹一下經驗風險和結構風險。假設一個樣本的損失函式為 $l(y_i,f($

x i ) ) l(y_i,f(x_i)) , 那麼在大小為N的資料集上的損失為：

$L_e$

( y , f ( x ) ) = 1

N ∑ i = 1 N l ( y i , f ( x i ) ) L_{e}(y,f(x))=\frac{1}{N}\sum_{i=1}^{N}l(y_i,f(x_i)) ,

也稱之為經驗風險。而當在經驗風險後面加一項懲罰項（正則項） $\lambda J(f)$, 其中J(f)表示模型的複雜度，因此，結構風險為：

$L_{s}(y,f(x))=\frac{1}{N}\sum_{i=1}^{N}l(y_i,f(x_i)) + \lambda J(f)$。

可以理解為若只是最小化經驗風險，則可能會導致模型的複雜度越來越高，從而導致過擬合，但是一旦加入了懲罰項，最小化結構風險需要既儘量減小經驗風險同時又要保證模型複雜度不會太高。

下面介紹幾種損失函式及與之對應的演算法。

1. 平方誤差

最小化平方誤差，最小二乘法。 適用於：迴歸，GBDT（也屬於迴歸範疇）。

$l(y_i, f(x_i)) = (y_i-f(x_i))^2$
$L(y, f(x_i)) =\frac{1}{N}\sum_{i=1}^{N}l(y_i, f(x_i))$

2. 絕對值誤差

最小化絕對值誤差。適用於：迴歸。
$l(y_i, f(x_i)) = |y_i-f(x_i)|$
$L(y, f(x_i)) =\frac{1}{N}\sum_{i=1}^{N}l(y_i, f(x_i))$

3. 對數誤差

最大化似然估計->最小化負對數似然估計->最小化交叉熵。 適用於：分類問題，比如：邏輯迴歸（二分類），神經網路（二分類，多分類）。
邏輯迴歸：
最大化似然函式：

$\max\prod_{i=1}^{N}P(\hat{y}_i|x_i) =\prod_{i=1}^{N}f(x_i)^{y_i}(1-f(x_i))^{1-{y_i}}$。

最小化負對數似然：

$L(y, f(x)) =-log(\prod_{i=1}^{N}f(x_i)^{y_i}(1-f(x_i))^{1-{y_i}})=-\sum_{i=1}^{N}(y_if(x_i) +(1-y_i)f(x_i))$

相關推薦