吳恩達機器學習學習筆記（四）

標籤：機器學習

吳恩達機器學習學習筆記四
代價函式與反向傳播Costfunction and Backpropagation

代價函式與反向傳播（Costfunction and Backpropagation）

一.代價函式

L：代表神經網路的層數
$s_l$ 代表第i層的單元數
k代表輸出層的單元數
二元分類問題時：
y=0 或者 y=1
僅有一個輸出， $s_l$ =1
k=0
當多元分類k=0問題時：

sl $s_l$ =k(當k>=3)
y為一個K維矩陣，有k個輸出單元

基本概念

1邏輯分類的評價函式：

J(θ)=−1m∑i=1m[y(i) log(hθ(x(i)))+(1−y(i))

log(1−hθ(x(i)))]+λ2m∑j=1nθ2j $J(\theta) = - \frac{1}{m} \sum_{i=1}^m [ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log (1 - h_\theta(x^{(i)}))] + \frac{\lambda}{2m}\sum_{j=1}^n \theta_j^2$

2.神經網路的評價函式：

J(Θ)=−1m∑i=1m∑k=1K[y(i)klog((hΘ(x(i)))k)+(1−y(i)k)log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θ(l)j,i)2 $\begin{gather*} J(\Theta) = - \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 - y^{(i)}_k)\log (1 - (h_\Theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_{l+1}} ( \Theta_{j,i}^{(l)})^2\end{gather*}$

2.1note:

1.這兩項簡單相加就可以計算出輸出層中每個單元的邏輯迴歸成本。
2.三重平方和簡單地加起來的是所有 $\theta_s$ 整個神經網路的 $\theta$ 。
2.三重平方和中的i不指訓練樣本i。

3.反向傳播

代價函式

訓練集： $\lbrace (x^{(1)}, y^{(1)}) \cdots (x^{(m)}, y^{(m)})\rbrace$
令 $\Delta^{(l)}_{i,j}$ =0

for i in range m：
1. $a^{(1)} := x^{(t)}$
2.使用正向傳播計算出所有的 $a^{(l)}$
3.用 $y^{(t)}$ 計算出 $\delta^{(L)} = a^{(L)} - y^{(t)}$
4.計算出 $\delta^{(L-1)}, \delta^{(L-2)},\dots,\delta^{(2)}$ 其中 $\delta^{(l)} = ((\Theta^{(l)})^T \delta^{(l+1)})\ .*\ a^{(l)}\ .*\ (1 - a^{(l)})$
note: $g'(z^{(l)}) = a^{(l)}\ .*\ (1 - a^{(l)})$
5.

Δ(l)i,j:=Δ(l)i,j+a(l)jδ(l+1)i $\Delta^{(l)}_{i,j} := \Delta^{(l)}_{i,j} + a_j^{(l)} \delta_i^{(l+1)}$ 向量形式：

Δ(l):=Δ(l)+δ(l+1)(a(l))T $\Delta^{(l)} := \Delta^{(l)} + \delta^{(l+1)}(a^{(l)})^T$
總偏導數:

吳恩達機器學習學習筆記（四）（附作業程式碼註釋）

吳恩達機器學習學習筆記（四）

代價函式與反向傳播（Costfunction and Backpropagation）

一.代價函式

1邏輯分類的評價函式：

2.神經網路的評價函式：

2.1note:

3.反向傳播

吳恩達機器學習學習筆記（四）（附作業程式碼註釋）

Coursera 深度學習吳恩達 deep learning.ai 筆記整理（3-2）——機器學習策略

吳恩達機器學習筆記（六） —— 支持向量機SVM

吳恩達機器學習筆記 —— 19 應用舉例：照片OCR（光學字符識別）

吳恩達機器學習課程筆記02——處理房價預測問題（梯度下降演算法詳解）

吳恩達機器學習筆記（一），含作業及附加題答案連結

機器學習筆記（參考吳恩達機器學習視訊筆記）16_決策樹

機器學習筆記（參考吳恩達機器學習視訊筆記）15_推薦系統

機器學習筆記（參考吳恩達機器學習視訊筆記）14_異常檢測

機器學習筆記（參考吳恩達機器學習視訊筆記）13_降維

機器學習筆記（參考吳恩達機器學習視訊筆記）12_聚類

機器學習筆記（參考吳恩達機器學習視訊筆記）11_支援向量機

機器學習筆記（參考吳恩達機器學習視訊筆記）10_機器學習系統的設計

機器學習筆記（參考吳恩達機器學習視訊筆記）09_應用機器學習的建議

機器學習筆記（參考吳恩達機器學習視訊筆記）08_神經網路的學習

機器學習筆記（參考吳恩達機器學習視訊筆記）07_神經網路介紹

機器學習筆記（參考吳恩達機器學習視訊筆記）06_正則化

機器學習筆記（參考吳恩達機器學習視訊筆記）04_多變數線性迴歸

吳恩達機器學習公開課學習筆記（一）

吳恩達機器學習筆記（5）—— 神經網路

吳恩達機器學習學習筆記（四）（附作業程式碼註釋）

吳恩達機器學習學習筆記（四）

代價函式與反向傳播（Costfunction and Backpropagation）

一.代價函式

1邏輯分類的評價函式：

2.神經網路的評價函式：

2.1note:

3.反向傳播

相關推薦