z)," role="presentation"> a=y^=σ(z), $a=\hat{y}=\sigma (z),$$a = \hat y=\sigma(z),$
$L(a,y)=-(1-y)\log(1-\hat y)-y\log(\hat y).$

在對數機率迴歸中，我們想要做的是修改引數w和b，以減少L。我們已經描述了在單個訓練示例中實際計算損失的四個傳播步驟，現在讓我們談談如何反向計算導數。

因為我們想做的是關於這種損失的計算導數，我們反向計算時要做的第一件事就是計算$\frac {\partial L} {\partial a} =\frac y a + \frac {1-y} {1-a}$。

然後$\frac {\partial L} {\partial z} =\frac {\partial L} {\partial a} \frac {\partial a} {\partial z}=a(1-a)(\frac y a + \frac {1-y} {1-a})=a-y$。

最後計算關於w和b的微分
$\frac {\partial L} {\partial w_1} =x_1\frac {\partial L} {\partial z},$
$\frac {\partial L} {\partial w_2} =x_2\frac {\partial L} {\partial z},$
$\frac {\partial L} {\partial b} =\frac {\partial L} {\partial z}.$

因此對數機率迴歸梯度下降計算的方向是：
$w_1:=w_1-\alpha\frac {\partial L} {\partial w_1},$
$w_2:=w_2-\alpha\frac {\partial L} {\partial w_2},$
$b:=b-\alpha\frac {\partial L} {\partial b}.$

其中$\alpha$是學習率。

上面是隻有一個訓練樣本時的對數機率迴歸的梯度下降方向，
現在我們想要為m個訓練樣本的對數機率迴歸進行梯度下降操作。
整體的成本函式$J=\frac {1} {m} \sum_{i=1}^m L(a^{(i)},y^{(i)})，$
然後$\frac {\partial J} {\partial w_i} = \frac 1 m \sum \frac {\partial L(a^{(i)},y^{(i)})} {\partial w_i}。$
令$\alpha$是學習率，然後梯度下降每次迭代的更新公式為：
$w_1:=w_1-\alpha\frac {\partial J} {\partial w_1},$

相關推薦