1. 程式人生 > >吳恩達機器學習筆記(二)(附程式設計作業連結)

吳恩達機器學習筆記(二)(附程式設計作業連結)

吳恩達機器學習筆記(二)

標籤: 機器學習

一.邏輯迴歸(logistic regression)

1.邏輯函式&&S型函式(logistic function and sigmoid function)

線性迴歸的假設表示式不試用於僅有0,1兩種結果的分類表達,將表示式簡單修改為邏輯函式也叫S型函式如下:

hθ(x)=g(θTx)z=θTxg(z)=11+ez

該函式的函式影象如下

S型函式

在預測時輸入x變數所得的g(z)即結果為1的概率值

2.決策邊界(decision boundary)

hθ(x)0.5y=1hθ(x)<0.5y=
0

在S型函式中若y大於0.5邊界則x必定大於0,於是:
hθ(x)=g(θTx)0.5whenθTx0
所以可以推出以下結論
θTx0y=1θTx<0y=0

3.代價函式(cost function)

分類問題的代價函式與迴歸問題的代價函式有一定的區別如下:

J(θ)=1mi=1mCost(hθ(x(i)),y(i))Cost(hθ(x),y)=log(hθ(x))Cost(hθ(x),y)=log(1hθ(x))if y = 1if y = 0
當y=1時函式影象如下
這裡寫圖片描述
當y=0時函式影象如下
這裡寫圖片描述

4.代價函式的簡化(Simplified Cost Function)

Cost(hθ(x),y)可以寫作:

Cost(hθ(x),y)=ylog(hθ(x))(1y)log(1hθ(x))
從而得到簡化的代價函式:
J(θ)=1mi=1m[y(i)log(hθ(x(i)))+(1y(i))log(1hθ(x(i)))]

將其表達為矢量表達為:

h=g(Xθ)J(θ)=1m(yTlog(h)(1y)Tlog(1h))()

5.梯度下降(Gradient Descent)

將其代價函式應用到梯度下降演算法中為:

Repeat{θj:=θjαmi=1m(hθ(x(i)