Regularization

重新定義了目標函式,為了通過是的權重的值都接近於0，使得目標函式更加的平滑減少樣本中的噪聲對訓練的結果所造成的影響。（用於解決overfitting問題zhengzehua）

L^{'} (θ) = L (θ) + 、 l a m b d a | | θ | | θ = {w_{1}, w_{2}, . . ., w_{n}}

其中n為樣本的個數。

1.L1 regularization

L^{'} (θ) = L (θ) + \frac{λ}{n} | | θ | |_{1}

將沒有正則化之前的損失函式記為L（

θ

）,則採用L1正則化之後待優化的函式為：

$| | θ | |_{1} = | w_{1} | + | w_{2} | + . . . + | w_{n} |$

| | θ | |_{1} = | w_{1} | + | w_{2} | + . . . + | w_{n} |

而當

w_{1}

=0的時候此時是不可微的，需要做特殊處理，常將其微分的值置為0.
以引數

w_{1}

的更新為例，求引數

w^{t}

對於損失函式L’的微分可得：

\frac{\partial L^{'}}{\partial w^{t}} = \frac{\partial L}{\partial w^{t}} + \frac{λ}{n} s g n (w^{t}) \frac{\partial L^{'}}{\partial w^{t}} = \frac{\partial L}{\partial w^{t}} + \frac{λ}{n} s g n (w^{t}) \frac{\partial L^{'}}{\partial w^{t}} = \frac{\partial L}{\partial w^{t}} + \frac{λ}{n} s g n (w^{t})

(其中sgn(x)為符號函式，其數學表示式如下所示：

f (x) = s g n (x) {\begin{cases} 1, & if x > 0 \\ 0, & if x = 0 \\ - 1, & if x < 0 \end{cases}

）

則對於引數 $w_{1}$ 的更新如下所示：

w^{t + 1} \leftarrow w^{t} - η \frac{\partial L^{'}}{\partial w^{t}} = w^{t} - η (\frac{\partial L}{\partial w^{t}} + \frac{λ}{n} s g n (w^{t})) = w^{t} - η \frac{\partial L}{\partial w^{t}} - η \frac{λ}{n} s g n (w^{t})