一，假設函式：

1） 邏輯迴歸（Logistic Regression)，Logistic function, Sigmoid function是同一個意思，函式形式（假設函式形式）如下:

邏輯迴歸是二分類演算法，hθ(x)>=0.5$h_{\theta }(x)>=0.5$（z>=0$z>=0$, 即θTx>=0${\theta }^{T}x>=0$），則y=1$y=1$。

2） 決策邊界(Decision Boundary)
邏輯函式分為正類和負類時的邊界，即hθ(x)=0.5$h_{\theta }(x)=0.5$即為邊界函式。

上圖假定引數θ$\theta$已經學好, 根據上一張圖知θTx>=0${\theta }^{T}x>=0$為正類，θTx<0${\theta }^{}$

Tx<0為負類，則邊界為θTx=0${\theta }^{T}x=0$，此時邊界為x1+x2=3$x_1+x_2=3$

3） 非線性決策邊界
假設已經使用訓練集訓練邏輯迴歸模型，得到引數θ$\theta$，於線性邊界一樣，則非線性決策邊界為θTx=0${\theta }^{T}x=0$，如下

二，引數學習

1) 損失函式，學習引數，首先需要定義損失函式，線性迴歸的損失函式可以是均方誤差

J(θ)=1m∑i=1m(hθ(xi)−yi)2$$J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2$$，但邏輯迴歸的損失函式不能使用均方誤差函式，因為邏輯迴歸函式hθ(x)=11+exp(−θTx)$h_{\theta }(x)=\frac{1}{1+exp(-{\theta }^{T}x)}$，也叫Sigmoid function作為假設函式，此函式是非線性的，會導致均方誤差函式為non-convex（函式的二階導數大於等於零，那麼這個函式就是凸函式），有許多區域性最小值。所有需要定義新的損失函式，如下：

損失函式另一種表達方式是：

Cost(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$
所有樣本的損失值之和：J(θ)=1/m∑i=1mCost(hθ(x),y)$$J(\theta )=1/m\sum _{i=1}^{m}Cost(h_{\theta }(x),y)$$

2) 使用梯度下降演算法，找到J$J$損失值最小時的引數θ$\theta$，預測某個樣本x$x$時，利用得到的引數θ$\theta$代入假設函式（邏輯迴歸函式，Sigmoid函式），即可求得預測值：

hθ(x)=11+exp(−θTx)$$h_{\theta }($$

x)=11+exp(−θTx)

3) 梯度下降法，損失函式偏導具體推導過程參考連結：

前面已經確定了三要素：假設函式，損失函式，梯度下降

三，Matlab實現

資料集下載：百度雲連結 密碼：tb4p

假設一所高中有一個數據集，代表40名學生被錄取進入大學，40名學生未被錄取。訓練樣本包含兩個標準化考試的學生成績和學生是否被錄取的標籤。

任務是建立一個二元分類模型，根據學生在兩次考試中的分數來估計大學錄取的機會。

ex4x.dat：X陣列的第一列代表所有的測試1分數，第二列代表所有的測試2分數。
ex4y.dat：Y向量使用“1”來標記被錄取和“0”以標記未錄取的學生。

資料分佈：

Matlab程式碼：

clear;
clc;
% 1，讀入資料
load('D:\Code\Data\ex4Data\ex4x.dat');
load('D:\Code\Data\ex4Data\ex4y.dat');
x = ex4x;
y = ex4y;

% 2，顯示資料，檢視分佈
pos = find(y == 1); neg = find(y == 0);
plot(x(pos, 1), x(pos,2), '+'); hold on
plot(x(neg, 1), x(neg, 2), 'o')

% 3, 引數設定
iteration = 10000;
sample_num = length(x); % 樣本個數
x = [ones(sample_num, 1), x];
theta = zeros(size(x, 2), 1); % 引數
alpha = 0.1;

% 4，特徵歸一化
x(:,2) = (x(:,2)- mean(x(:,2)))./ std(x(:,2));
x(:,3) = (x(:,3)- mean(x(:,3)))./ std(x(:,3));

% 5，迭代，尋找最佳引數
for i = 1:iteration
    h = 1 ./ (1 + exp(-x * theta)); % 通過假設函式得到預測值
    J(i,1) = -1/sample_num * (y' * log(h+eps) + (1-y)'*log(1-h+eps)); % 當前引數下的損失值
    theta(1,1) = theta(1,1) - alpha * sum((h - y) .* x(:,1));  % 更新引數
    theta(2,1) = theta(2,1) - alpha * sum((h - y) .* x(:,2));
    theta(3,1) = theta(3,1) - alpha * sum((h - y) .* x(:,3));
    %theta = theta - alpha * x'*(h-y); % 同時更新所有引數
end

figure,
plot(x(pos, 2), x(pos,3), '+'); hold on
plot(x(neg, 2), x(neg, 3), 'o')

% 6，邊界為Theta'x = 0; theta_1 + theta_2*x_2 + theta_3*x_3 = 0
max_value = max(x(:,2));
min_value = min(x(:,2));
X = min_value:0.001:max_value;
Y = -(theta(1,1) + theta(2,1) * X) / theta(3,1);
plot(X, Y, '-')

效果圖，畫決策邊界（

相關推薦

【吳恩達 機器學習】 邏輯迴歸演算法Matlab實現

一，假設函式： 1） 邏輯迴歸（Logistic Regression)，Logistic function, Sigmoid function是同一個意思，函式形式（假設函式形式）如下: 邏輯迴歸是二分類演算法，hθ(x)>=0.5hθ(x)&g

【吳恩達 機器學習】邏輯迴歸的損失函式偏導

1) 邏輯迴歸（Logistic Regression, Logistic Function, Sigmoid Function）的損失函式為： J(θ)=−1m∑i=1m[y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(θ

【吳恩達機器學習】學習筆記——1.5無監督學習

分類 哪些 rep epm 朋友 工作 style class 客戶 1 無監督學習：在不知道數據點的含義的情況下，從一個數據集中找出數據點的結構關系。 2 聚類算法：相同屬性的數據點會集中分布，聚集在一起，聚類算法將數據集分成不同的聚類。也就是說，機器不知道這些數據點具體

【吳恩達機器學習】學習筆記——2.1單變量線性回歸算法

工作方式 樣本 body 聚類 屬性 bsp 定義 算法 信息 1 回顧1.1 監督學習定義：給定正確答案的機器學習算法分類：（1）回歸算法：預測連續值的輸出，如房價的預測（2）分類算法：離散值的輸出，如判斷患病是否為某種癌癥1.2 非監督學習定義：不給定數據的信息的情況下

【吳恩達機器學習】學習筆記——代價函數

info alt 學習 ima 代價函數 png 線性回歸 gpo mage 單變量線性回歸函數 hθ(x) = θ0 + θ1x 為了使線性回歸函數對數據有較好的預測性，即y到h(x)的距離都很小。 【吳恩達機器學習】學習筆記——代價函數

【吳恩達機器學習】學習筆記——梯度下降

得到 向導 bubuko gpo 思路 pos 方向導數 ... image 梯度下降算法能夠幫助我們快速得到代價函數的最小值 算法思路： 以某一參數為起始點 尋找下一個參數使得代價函數的值減小，直到得到局部最小值 梯度下降算法： 重復下式直至收斂，其中α為學習速

【吳恩達機器學習】學習筆記——2.7第一個學習算法=線性回歸+梯度下降

com 梯度 .com 局部最優 alt ima 實現 梯度下降 width 梯度下降算法：　　　　　　　　　　　　　　線性回歸模型： 　　　　　　線性假設： 　　　　　　　　　　　　　　　　　　　　　平方差成本函數： 將各個公式代入，對θ0、θ1分別求偏導得： 再將偏

吳恩達機器學習之邏輯迴歸理論部分

一.特徵函式 對應分類問題，我們先針對二分類問題進行討論，對應計算機而言，分類即將資料按其特徵值不同分為不同的集合，僅對應二分類問題，我們只需考慮分為：正類和負類，為此我們引入特徵函式。 y=1 — 代表二分類中的正類 y=0 — 代表二分類中的反類 這是特殊函式

【吳恩達機器學習筆記】week3：1/2邏輯迴歸

第三週 六、邏輯迴歸(Logistic Regression) 這裡首先區分一下線性迴歸和邏輯迴歸，線性迴歸就是擬合，邏輯迴歸是分類。 6.2 假說表式（Hypothesis Representation） 下面一個部分主要講的是假設函式h（x）在分類問題中輸出只能是0/

【吳恩達機器學習隨筆】什麽是機器學習？

都是 mea 預測 learn 會有 code 度量 its 價格 定義　 　　Tom Mitchell對機器學習定義為“計算機從經驗E中學習，解決某一任務T，進行某一度量P,通過P測定在T上的表現因經驗E而提高”。定義個人覺得大體理解即可，如果扣文咬字去理解會十分痛苦，就

【吳恩達機器學習筆記】Week4 ex3答案

與上一週作業相同，按著公式程式設計就好了 function [J, grad] = lrCostFunction(theta, X, y, lambda) %LRCOSTFUNCTION Compute cost and gradient for logisti

【吳恩達機器學習筆記學習筆記02】Cost function

一、Previously on Note01 接下來我們學習的第一個演算法是線性迴歸演算法。還是一個關於預測房價的例子，資料集包含了俄勒岡州波特蘭市的住房價格。如果你有個朋友有1250英尺的房子，那麼如圖你可以告訴你的朋友大概買220美元就可以了。這是一個

【吳恩達機器學習筆記】第三章：線性迴歸回顧

本章是對線性代數的一些簡單回顧，由於之前學過，所以這裡只是簡單的將課程中的一些例子粘過來 矩陣表示 矩陣加法和標量乘法 矩陣向量乘法 用矩陣向量乘法來同時計算多個預測值 矩陣乘法 用矩陣乘法同時計算多個迴歸

【吳恩達機器學習筆記】第五章：多變數線性迴歸

目錄 多特徵下的目標函式 多元梯度下降法 多元梯度下降法中的方法 特徵縮放 選擇學習率 特徵和多項式迴歸 正規方程（區別於迭代法的直接解法） 正規方程在矩陣不可逆的情況下的解決方法

【吳恩達機器學習筆記】005 梯度下降（Gradient Descent）

一、引入        在前幾節課我們講到，我們希望能夠找到曲線擬合效果最好的線條，這樣的線條的誤差最小，所以就轉化成了下面這幅圖所表達的內容。        我們有一些函式，這些函式會有n個引數，我們希望能得到這個函式的最小值，為了方便計算，我們從最簡單的入手，讓引數的個數

吳恩達機器學習之聚類演算法的引數選擇以及優化

對於K（k<樣本量的）均值聚類，一般引數的自定義主要有兩個，一個是聚類中心初始位置的選擇，二是K值的選擇 優化目標：每個樣本點到該點聚類中心的平方的累加 解決聚類中心的初始化問題： 隨機挑選樣本點作為聚類中心，這個過程重複50-1000次，選出J值最低的（通常K值為2-10的時候

吳恩達機器學習：線性迴歸

首先說一些關於課程的題外話。對於 Ng 的這個課程，筆者沒有選擇在 Coursera 上學習課程，一來是因為 Coursera 有自己的課程週期，但這個週期不一定適合所有人。其次 Coursera 的課程作業是使用 Octave 語言，而筆者個人覺得不管是學習還

（吳恩達機器學習）Logistic 迴歸

邏輯迴歸提出的原因： 對於分類問題，為什麼不能用我們之前學習的線性迴歸演算法來解決呢？有以下兩點： 1：不能很好地說明實際情況的真正意義 2：函式值可能大於1或者小於0（對於二類分類0,1） 假設函式： 為了使函式值在0~1之間，假設函式h(x)從h(

吳恩達機器學習（第2周--Octave/Matlab Tutorial）【下】

第2周--Plotting Data>> t = [0:0.01:0.98]; >> y1 = sin(2*pi*4*t); >> plot(t,y1) >> y1 = cos(2*pi*4*t); >> plo

吳恩達機器學習（第七章）---邏輯迴歸

一、邏輯迴歸 邏輯迴歸通俗的理解就是，對已知類別的資料進行學習之後，對新得到的資料判斷其是屬於哪一類的。 eg:對垃圾郵件和非垃圾郵件進行分類，腫瘤是惡性還是良性等等。 1.為什麼要用邏輯迴歸： 對於腫瘤的例子：  在外面不考慮最右邊的樣本的時候我們擬合的線性迴歸