1. 程式人生 > >吳恩達機器學習課程筆記章節二單變數線性迴歸

吳恩達機器學習課程筆記章節二單變數線性迴歸

1、模型描述

Univariate(One variable)Linear Regression

m=訓練樣本的數目,x's=輸入的變數/特徵,y's=輸出變數/目標變數

2、代價函式

基本定義:

3、代價函式(一)

回顧一下,前面一些定義:

簡化的假設函式,theta0=0,得到假設函式與目標函式的關係有:

 4、代價函式(二)

等高線圖(contour figures):有相同的J(theta0,theta1)的值,對應著不同的theta0,theta1值。

下面介紹一種能自動得到使得目標函式最小的引數值的演算法。。

 5、梯度下降演算法的梗概

特點:起始點不同,經過一次次的梯度下降,最後會到達不同的區域性最優點。

演算法:

上面第一行即updating equation(更新式)。

注意的幾點:

  • 當寫成a:=b指的是將b的值賦給a(computer operation),而寫成a=b時是判斷操作(true assertion)
  • alpha(learning rate)用來控制梯度下降的幅度/速度,如何設定它的值在之後會提到
  • 導數項(後面推導)
  • 保證引數的同步更新

6、梯度下降知識點總結

解釋一下梯度下降演算法的具體組成:

  • learning rate始終是正數
  • alpha過大或者過小都不好

     

  • 引數已經處在區域性最優點(導數為零),根據演算法公式,引數不用更新
  • 梯度下降的過程中,越來越接近區域性最優處,導數值越來越小,梯度下降自動選擇幅度較小的速率進行。。因故沒有必要再另外減小alpha的值

7、線性迴歸的梯度下降

結合前面的,得到:

線性迴歸的代價函式是一個凸函式(形狀上看似是一個弓狀函式),只有一個全域性最優點。

“Batch”梯度下降法:在每一步的梯度下降過程中都使用到了所有的訓練資料。 

 在高等線性代數中有一種方法可以不需要使用梯度下降的迭代演算法,可以直接求解出代價函式的最小值,即正規方程組方法(normal equation method)。

 附上本章的ppt資料連結:https://study.163.com/course/courseLearn.htm?courseId=1004570029#/learn/text?lessonId=1050362429&courseId=1004570029