Neural Networks:Learning

上週的課程學習了神經網路正向傳播演算法，這周的課程主要在於神經網路的反向更新過程。

1.1 Cost function

我們先回憶一下邏輯迴歸的價值函式
J(θ)=1m[∑mi=1y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]+λ2m∑nj=1θ2j

在神經網路中
hθ(x)ϵRK 　　　 (hθ(x))i=ithoutput
J(θ)=−1m[∑mi=1∑Kk=1y(i)klog(hθ(x(i)k))+(1−y(i)k)log(1−hθ(x(i)k))]+λ2m∑L−1l=1∑sli=1

∑sl+1j=1(θ(l)ji)2

1.2 Backpropagation algorithm

使用梯度下降法求解價值函式J(θ)的最小值
我們需要知道∂∂θ(l)ijJ(θ)

先給出一個樣本(x, y)時的正向傳播過程

a(1)=x　　(adda(1)0)
z(2)=θ(1)a(1)
a(2)=g(z(2))　　(adda(2)0)
z(3)=θ(2)a(2)
a(3)=g(z(3))　　(adda(3)0)
z(4)=θ(3)

相關推薦

Coursera吳恩達機器學習課程 總結筆記及作業程式碼——第5周神經網路續

Neural Networks:Learning 上週的課程學習了神經網路正向傳播演算法，這周的課程主要在於神經網路的反向更新過程。 1.1 Cost function 我們先回憶一下邏輯迴歸的價值函式 J(θ)=1m[∑mi=1y(i)log(hθ

Coursera吳恩達機器學習課程 總結筆記及作業程式碼——第6周有關機器學習的小建議

1.1 Deciding what to try next 當你除錯你的學習演算法時，當面對測試集你的演算法效果不佳時，你會怎麼做呢？ 獲得更多的訓練樣本？ 嘗試更少的特徵？ 嘗試獲取附加的特徵？ 嘗試增加多項式的特徵？ 嘗試增加λ? 嘗試減小λ?

Coursera吳恩達機器學習課程 總結筆記及作業程式碼——第1,2周

Linear’regression 發現這個教程是最入門的一個教程了，老師講的很好，也很通俗，每堂課後面還有程式設計作業，全程用matlab程式設計，只需要填寫核心程式碼，很適合自學。 1.1 Model representation 起始給出了

Coursera吳恩達機器學習課程第一週測驗2（單變數線性迴歸）

Machine Learning Week 1 Quiz 2 (Linear Regression with One Variable) Stanford Coursera Question 1 Consider the problem of predi

Coursera吳恩達機器學習課程-第五章

五、Octave教程(Octave Tutorial) 5.1 基本操作 參考視訊: 5 - 1 - Basic Operations (14 min).mkv 在這段視訊中，我將教你一種程式語言：Octave語言。你能夠用它來非常迅速地實現這門課中我們已經學過的，或者

Coursera 斯坦福吳恩達機器學習課程筆記 (1)

看了課程一週後發現忘光了，決定做一個筆記用作複習。如果涉及到侵權問題請聯絡我，我會立馬刪除並道歉。同時，禁止任何形式的轉載，包括全文轉載和部分轉載。如需使用請聯絡本人 [email protected]。如若發現侵權行為，我學過智慧財產權法的，嘿嘿第一週：基礎概念和

Coursera-吳恩達-機器學習-（程式設計練習8）異常檢測和推薦系統（對應第9周課程）

exercise 8 —— 異常檢測和推薦系統 在本練習中，第一部分，您將實施異常檢測演算法並將其應用於檢測網路上發生故障的伺服器。 在第二部分中，您將使用協作過濾來構建電影的推薦系統。 1 異常檢測 在這個練習中，您將實現一個異常檢測演算

Coursera-吳恩達-機器學習-（程式設計練習7）K均值和PCA（對應第8周課程）

exercise 7 —— K-means and PCA 在本練習中，您將實現K均值聚類演算法並將其應用於壓縮影象。 在第二部分中，您將使用主成分分析來查詢面部影象的低維表示。 1 K-means 先從二維的點開始，使用K-means進行分類

吳恩達機器學習課程筆記02——處理房價預測問題（梯度下降演算法詳解）

  建議記住的實用符號 符號 含義 m 樣本數目 x 輸入變數 y 輸出變數/目標變數

Coursera-吳恩達-機器學習-第七週-測驗-Support Vector Machines

  忘記截圖了，做了二次的，有點繞這裡，慢點想就好了。 正確選項是，It would be reasonable to try increasing C. It would also be reasonable to try decreasing σ2.  &n

Coursera-吳恩達-機器學習-第七週-程式設計作業: Support Vector Machines

本次文章內容： Coursera吳恩達機器學習課程，第七週程式設計作業。程式語言是Matlab。 本文只是從程式碼結構上做的小筆記，更復雜的推導不在這裡。演算法分兩部分進行理解，第一部分是根據code對演算法進行綜述，第二部分是程式碼。 本次作業分兩個part，第一個是using SVM，第

吳恩達機器學習課程筆記章節二單變數線性迴歸

1、模型描述 Univariate（One variable）Linear Regression m=訓練樣本的數目，x's=輸入的變數/特徵，y's=輸出變數/目標變數 2、代價函式 基本定義： 3、代價函式（一） 回顧一下，前面一些定義： 簡化的假設函式，theta0=0，得到假

Coursera-吳恩達-機器學習-第十一週-測驗-Application: Photo OCR

本片文章內容： Coursera吳恩達機器學習課程，第十一週 Application: Photo OCR 部分的測驗，題目及答案截圖。   1000*1000，每次移動2畫素，總共是500*500=250000次，兩個視窗是500000次。   &nb

Coursera-吳恩達-機器學習-第十週-測驗-Large Scale Machine Learning

本片文章內容： Coursera吳恩達機器學習課程，第十週 Large Scale Machine Learning 部分的測驗，題目及答案截圖。 1.cost increase ，說明資料diverge。減小learning rate。 stochastic不需要每步都是減

Coursera-吳恩達-機器學習-第九周-程式設計作業-Anomaly Detection and Recommender Systems

本次文章內容： Coursera吳恩達機器學習課程，第九周程式設計作業。程式語言是Matlab。 本文只是從程式碼結構上做的小筆記。   Anomaly Detection  part 0 Initialization Part 1: Load Example

Coursera-吳恩達-機器學習-第九周-測驗-Recommender Systems

本片文章內容： Coursera吳恩達機器學習課程，第九周Recommender Systems部分的測驗，題目及答案截圖。   注：區分迴歸的預測和collaborative filtering預測的區別，後者涉及到一些分類。 注：可以結合不同的trai

Coursera-吳恩達-機器學習-第八週-程式設計作業: K-Means Clustering and PCA

本次文章內容： Coursera吳恩達機器學習課程，第八週程式設計作業。程式語言是Matlab。 本文只是從程式碼結構上做的小筆記，更復雜的推導不在這裡。演算法分兩部分進行理解，第一部分是根據code對演算法進行綜述，第二部分是程式碼。 本次作業分兩個part，第一個是K-Means Clu

Coursera-吳恩達-機器學習-第八週-測驗-Principal Component Analysis

本片文章內容： Coursera吳恩達機器學習課程，第八週的測驗，題目及答案截圖。                    

Coursera-吳恩達-機器學習-第六週-程式設計作業: Regularized Linear Regression and Bias/Variance

本次文章內容： Coursera吳恩達機器學習課程，第六週程式設計作業。程式語言是Matlab。 學習演算法分兩部分進行理解，第一部分是根據code對演算法進行綜述，第二部分是程式碼。 0 Introduction  在這個練習中，應用regularized linea

Coursera-吳恩達-機器學習-第六週-測驗-Machine Learning System Design

說實話，這一次的測驗對我還是有一點難度的，為了刷到100分，刷了7次（哭）。 無奈，第2道和第4道題總是出錯，後來終於找到錯誤的地方，錯誤原因是思維定式，沒有動腦和審題正確。 這兩道題細節會在下面做出講解。 第二題分析：題意問，使用大量的資料，在哪兩種情況時