【深度學習】吳恩達網易公開課練習(class2 week1 task2 task3)
阿新 • • 發佈：2018-03-24
公開課 網易公開課 blog 校驗 過擬合 limit 函數 its cos
使用正則化，需要分別在計算損失函數和反向傳播計算導數時做相應的修改。
上述正則化對應的反向傳播公式需添加一項：
\[\frac{d}{dW} ( \frac{1}{2}\frac{\lambda}{m} W^2) = \frac{\lambda}{m} W\]
正則化
定義：正則化就是在計算損失函數時，在損失函數後添加權重相關的正則項。
作用：減少過擬合現象
正則化有多種，有L1範式，L2範式等。一種常用的正則化公式
\[J_{regularized} = \small \underbrace{-\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right) \large{)} }_\text{cross-entropy cost} + \underbrace{\frac{1}{m} \frac{\lambda}{2} \sum\limits_l\sum\limits_k\sum\limits_j W_{k,j}^{[l]2} }_\text{L2 regularization cost}\]
使用正則化，需要分別在計算損失函數和反向傳播計算導數時做相應的修改。
上述正則化對應的反向傳播公式需添加一項：
\[\frac{d}{dW} ( \frac{1}{2}\frac{\lambda}{m} W^2) = \frac{\lambda}{m} W\]
dropout
梯度校驗
【深度學習】吳恩達網易公開課練習(class2 week1 task2 task3)