說明：本文章所有圖片均屬於Stanford機器學課程，轉載請註明出處

面對一些類似迴歸問題，我們可以通過線性迴歸方法來擬合一個函式，以此來預測資料，但它的輸出是連續的。有時候呢，我們需要一種方法給出一個判定結果，例如”同意(agree)”、”不同意(disagree)”。、下面呢就是關於這個方法的新內容，叫做分類(Classification)問題。又例如，如果我們需要預測一輛汽車是好的還是壞的，只有兩種結果：好、壞。這種輸出為0或者1的問題，就叫做分類問題，而我們對應與此種問題所採用的方法即是邏輯迴歸(Logistic regression)。

1.分類及其表示(Classification and Representation)

i.分類(Classification)

首先來看看分類(Classification)問題，在第一段中已經簡單介紹了什麼是分類問題，下面再來舉幾個例子：

Examples	Purposes
Email	Spam / Not Spam?
Online Transaction	Fraudulent (Yes / No?)
Tumor	Malignant / Benign?

第一個例子是判斷垃圾郵件，對一封郵件，我們需要判斷它是否為垃圾郵件；第二個例子是線上交易，我們需要判斷這個交易是否有欺詐的嫌疑；最後一個例子是腫瘤評估，我們需要對一個病人的病情進行綜合分析，來判斷腫瘤是惡性的還是良性的。

詳細地，我們以腫瘤評估為例。我們有如下圖所示的一些樣本，其橫座標表示腫瘤的大小，縱座標表示性態（良性還是惡性）：

假設我們用一條直線 hθ(x)=θTX 來擬合這些資料，其影象可能大致如下：

如上圖所示， hθ(x) 為紫色的直線，如果我們選擇 0.5 作為一個基準點來判斷一個腫瘤是良性還是惡性的:Ifhθ(x)≥0.5,predict"y=1"Ifhθ(x)<0.5,predict"y=0" 那麼對於上面的資料，看起來好像還不錯。但是我們增加一組額外的樣本來看看：

如上圖所示，我們增加了一組資料，通過線性迴歸（Linear Regression）得到了一條藍色的直線，但是其看起有點不那麼理想，例如有幾個惡性腫瘤，也會被分類為良性腫瘤。所以，在分類問題中，線性迴歸通常不是一個很好的辦法。所以我們需要使用邏輯迴歸(Logistic regression)來解決分類問題。邏輯迴歸是一個分類演算法(classification algorithm)在邏輯迴歸中，我們要求 0≤hθ(x)≤1，下面我們就來看看邏輯迴歸的假設函式。

ii.假設函式(Hypothesis)

上面我們提到了，在只有兩種結果的分類問題中，它的輸出不是 0 即是 1 ，所以我們想要將分類器(classifier)的輸出控制在 [0,1] 上。在線性迴歸中，我們的假設函式為 hθ(x)=θTX ，顯然其輸出並不只限於區間 [0,1] ，所以線性迴歸中的假設函式在邏輯迴歸(Logistic regression)中是不合適的。這裡我們使我們的假設函式為：

hθ(x)=g(θTX) 其中，函式g的形式為： g(z)=11+e−z 其影象為：

其與 y 軸的交點為 (0,0.5) ，所以假設函式為： hθ(x)=11+e−θTX

現在我們來看一下邏輯迴歸(Logistic regression)的假設函式的具體意義是什麼。
這裡的函式 hθ(x) 代表的是關於輸入 x ，使得 y=1 的可能性。來舉個例子：
假設有兩個特徵：

[x1x2]=[1tumorSize] 其中 x1 為 1，這是我們之前約定好的（文章開頭列出的文章）， x2 表示腫瘤的大小。假如 hθ(x)=0.7 ，這就表示病人的腫瘤為 惡性腫瘤的可能性為 0.7 。進一步地，可以將假設函式表示為：hθ(x)=P(y=1|x;θ)
即給定引數 θ ，關於輸入 x ，使得 y=1 的可能性。進一步，我們也可以知道如下的結論：P(y=0|x;θ)+P(y=1|x;θ)=1 P(y=0|x;θ)=1−P(y=0|x;θ) 假設函式的形式就講到這裡，下面講一講決策邊界(Decision boundary)。

iii.決策邊界(Decision Boundary)

前面提到了 hθ(x)=P(y=1|x;θ) ，那什麼時候 hθ(x) 的值為 1 ，什麼時候為 0 呢？一般規定：

{10if hθ(x)≥0.5 ;if hθ(x)<0.5 . 同時，我們發現對於函式 g(

相關推薦

機器學習筆記04：邏輯迴歸(Logistic regression)、分類(Classification)

說明：本文章所有圖片均屬於Stanford機器學課程，轉載請註明出處 面對一些類似迴歸問題，我們可以通過線性迴歸方法來擬合一個函式，以此來預測資料，但它的輸出是連續的。有時候呢，我們需要一種方法給出一個判定結果，例如”同意(agree)”、”不同意

機器學習演算法之： 邏輯迴歸 logistic regression (LR)

by joey周琦 LR介紹 邏輯迴歸屬於probabilistic discriminative model這一類的分類演算法 probabilistic discriminative mode這類演算法的思路如下： - 直接建模 P(Ck|x)

機器學習筆記3：邏輯迴歸

機器學習筆記3：邏輯迴歸 Andrew Ng機器學習課程學習筆記3 邏輯迴歸就是分類問題，比如把郵件標示為垃圾郵件和正常郵件，判斷腫瘤是良性的還是惡性的. Sigmoid function 線性迴歸方程中，hθ(x) 的取值ｙ是連續的，而邏輯迴歸中輸出則是離散的。以兩個類別

機器學習筆記之七——邏輯迴歸簡單推導、softmax簡單理解以及sklearn中邏輯迴歸常用引數解釋

邏輯迴歸 對邏輯迴歸的理解：對線性迴歸的假設函式的 f(x) 又套上了一層sigmoid函式，即g(f(x)). 然後sigmoid函式是長這樣的： 它的影象長這樣： 對於線性迴歸得到的結果，再經過一層sigmoid函式，以x=0為界限，左邊為0，右邊為1，邏輯迴歸就是這樣一個二分類

Coursera機器學習-第三週-邏輯迴歸Logistic Regression

Classification and Representation 1. Classification Linear Regression （線性迴歸）考慮的是連續值（[0,1]之間的數）的問題，而Logistic Regression（邏輯迴歸）考

機器學習方法（五）：邏輯迴歸Logistic Regression，Softmax Regression

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。 技術交流QQ群：433250724，歡迎對演算法、技術、應用感興趣的同學加入。 前面介紹過線性迴歸的基本知識，線性迴歸因為它的簡單，易用，且可以求出閉合解，被廣泛地

機器學習筆記四：線性迴歸回顧與logistic迴歸

一.再看線性迴歸 之前我們選擇線性迴歸的時候，只是認為那些資料看上去很符合線性的樣子，選擇最小平方損失函式的時候，也是直接提出來的，沒有考慮過為什麼會是這個樣子。接下來就從概率的角度來解釋這些問題。 首先假設目標變數和輸入與下面這個方程相關： 其中是一

機器學習筆記2：線性迴歸

機器學習筆記2：線性迴歸 Andrew Ng機器學習課程學習筆記2 線性迴歸 引數說明： 　　θi:parameters，引數 　　x:input，輸入 　　y:output，輸出 　　h:hypothesis，假設 　　m:資料數量 迴歸方程： 　　一元線性的迴歸方程的一

機器學習筆記(1)：線性迴歸

初次接觸機器學習的朋友們，建議先把這篇概念性的科普文章，精讀5遍以上：神經網路淺講：從神經元到深度學習 裡面有大量的矩陣向量的操作，不熟悉NDArray的，建議先看上一篇mxnet安裝及NDArray初體驗 下面這個示例的思路，先講解一下，不然不知道它們在幹嘛：） 先給出一個線性方程（1），如下圖：

用Python開始機器學習（7：邏輯迴歸分類）

在本系列文章中提到過用Python開始機器學習（3：資料擬合與廣義線性迴歸）中提到過迴歸演算法來進行數值預測。邏輯迴歸演算法本質還是迴歸，只是其引入了邏輯函式來幫助其分類。實踐發現，邏輯迴歸在文字分類領域表現的也很優秀。現在讓我們來一探究竟。1、邏輯函式假設資料集有n個獨立的

入門機器學習演算法交易：邏輯迴歸的理論和交易

目前股市的量化交易已經成為了人工智慧研究的一個熱門領域，很多計算機人員都想利用自己的程式設計技術去量化交易，也有很多的金融人員想要學習程式設計技術。如果你想知道一些方法論上面的知識，可以檢視我上一個文章。本次 Chat，文章會一步一步向你介如何用最簡單的邏輯迴歸在股票資料上面

tensorflow 學習專欄（四）：使用tensorflow在mnist資料集上使用邏輯迴歸logistic Regression進行分類

在面對分類問題時，我們常用的一個演算法便是邏輯迴歸（logistic Regression）在本次實驗中，我們的實驗物件是mnist手寫資料集，在該資料集中每張影象包含28*28個畫素點如下圖所示：我們使用邏輯迴歸演算法來對mnist資料集的資料進行分類，判斷影象所表示的數字

機器學習筆記05：正則化(Regularization)、過擬合(Overfitting)

說明：文章中的所有圖片均屬於Stanford機器學習課程 （一）過擬合問題(The Problem of Overfitting) 不管是在線性迴歸還是在邏輯迴歸中，我們都會遇到過擬合的問題。先從例子來看看什麼是過擬合。 i.線性迴歸中的過擬合

機器學習筆記(4)：多類邏輯迴歸-使用gluton

import matplotlib.pyplot as plt import mxnet as mx from mxnet import gluon from mxnet import ndarray as nd from mxnet import autograd def transfor

機器學習筆記(3)：多類邏輯迴歸

仍然是 動手學嘗試學習系列的筆記，原文見：多類邏輯迴歸 — 從0開始 。 這篇的主要目的，是從一堆服飾圖片中，通過機器學習識別出每個服飾圖片對應的分類是什麼（比如：一個看起來象短袖上衣的圖片，應該歸類到T-Shirt分類） 示例程式碼如下，這篇的程式碼略複雜，分成幾個步驟解讀： 一、下載資料，並顯示圖

機器學習筆記(5)：多類邏輯迴歸-手動新增隱藏層

from mxnet import gluon from mxnet import ndarray as nd import matplotlib.pyplot as plt import mxnet as mx from mxnet import autograd def transfo

機器學習筆記(6)：多類邏輯迴歸-使用gluon

from mxnet import gluon from mxnet import ndarray as nd import matplotlib.pyplot as plt import mxnet as mx from mxnet import autograd def transf

機器學習筆記(3)：多類邏輯回歸

display images 可能 https 都沒有 -s labels 明顯 交叉 仍然是 動手學嘗試學習系列的筆記，原文見：多類邏輯回歸 — 從0開始 。 這篇的主要目的，是從一堆服飾圖片中，通過機器學習識別出每個服飾圖片對應的分類是什麽（比如：一個看起來

吳恩達深度學習筆記(6)--邏輯迴歸(Logistic Regression)

邏輯迴歸(Logistic Regression) 在這節課中，我們會重溫邏輯迴歸學習演算法，該演算法適用於二分類問題，本節將主要介紹邏輯迴歸的Hypothesis Function（假設函式）。 對於二元分類問題來講，給定一個輸入特徵向量X，它可能對應一張圖片，你想識別這張圖片識

《機器學習實戰》學習筆記七：Logistics迴歸（梯度上升法）

1 Logistics迴歸概念 迴歸是指將一對資料擬合為一條直線的過程，而Logistics迴歸則是將回歸用於分類，其主要思想為：根據現有的資料對分類邊界線建立迴歸公式，依次為依據進行分類，在這裡最關鍵的一步是尋找最佳的擬合引數，這一步將會用到一些最優化的方法