shi先簡單說一下邏輯迴歸，其實會有很多人誤解，會將邏輯迴歸當成迴歸演算法，其實邏輯迴歸就是我們所說的分類問題，所謂的邏輯，一般我們說的邏輯就是邏輯0或者邏輯1，所以可以藉此理解。但是邏輯迴歸不僅僅只包括兩分類問題，它還包括多分類問題。
那麼能否使用線性迴歸的思想解決邏輯迴歸嗎，我們從以下兩方面考慮：
1. 假設如下圖所示的資料集:

假設使用線性迴歸來擬合該資料集，當出現一個較大的波動點時（最右側的點），則擬合得到的曲線為藍色的線，當大於0.5時，判斷為1，小於0.5時判斷為0（等於0.5判斷為哪一類無所謂，以後遇到同樣的問題，採用相同的處理方式），會出現很多的誤差點。
2.採用線性迴歸得到的擬合曲線，在進行判斷時會出現很多大於1或者小於0的點，對於分類問題則明顯是不合適。
我們下面說學的方法就是邏輯迴歸的演算法，它的輸出永遠在0~1之間。

邏輯迴歸的假說（hypothesis）：
邏輯迴歸假說的表示式應該滿足我們上面提到的特性，它的輸出值永遠在0~1之間，當大於0.5時，判斷為0；當小於0.5時判斷為1。
所以我們採用邏輯迴歸假說的形式為：

hθ(x)=g(θTx)=11+e−θTx

其中，g代表邏輯函式，也叫作sigmoid函式，它是一種常用的S形函式，公式為：

g(z)=11+e−z

它的影象為：

hθ(x)的作用：對於給定的輸入變數x，根據選擇的引數θ計算輸出變數為1的概率，即

hθ(x)=P(y=1|x;θ)=1−P(y=0|x;θ)

例如，在給定的x和θ的情況下，計算得到的hθ(x)=0.7，則說明該樣例有70%的可能性為正例。

決策邊界（decision boundary）：
其實最終判斷為0還是判斷為1，我們一般採用的標準是：
當輸出大於或等於0.5時，判斷為1；小於0.5時，判斷為0。
對於上面的邏輯函式：

hθ(x)=g(θTx)=11+e−θTx

當θTx大於等於0時，判斷為1；當θTx小於0時，判斷為0。
決策邊界的含義實際就是找到能夠正確劃分我們資料集為兩類（對於兩類問題）的邊界，下面舉例來說明一下：

對於上面的資料集，我們可以判斷當θ=[−3,1,1]時，可以實現資料的劃分，則對應的直線為θTx=−3+x1+x2，對於上述資料集的決策邊界為−3+x1+x2=0，當−3+x1+x2≥0時，判斷為1，當−

3+x1+x2<0時，判斷為0，所以決策邊界為−3+x1+x2=0。
需要注意的是：
決策邊界是hθ(x)，決定於θ，它不是資料集的屬性。它的確定過程為：
資料→確定引數→分類邊界→預測結果

代價函式（cost function）：
對於線性迴歸，我們採用的代價函式為：誤差平方和（均方誤差）即，J(θ)=1m∑mi=112(hθ(x(i)−y(i)))2，如果對於邏輯迴歸，hθ(x)=11+e−θTx，帶入到平方誤差和公式中會使得對於引數θ，J(θ)為非凸函式，所以對於邏輯迴歸來說，線性迴歸的代價函式不適用。
我們定義邏輯迴歸的代價函式為：

J(θ)=1m∑i=1mCost(hθ(x(i)−y(i)))
其中，Cost(hθ(x)−y)={−l

相關推薦

斯坦福大學機器學習筆記——邏輯迴歸、高階優化以及多分類問題

shi先簡單說一下邏輯迴歸，其實會有很多人誤解，會將邏輯迴歸當成迴歸演算法，其實邏輯迴歸就是我們所說的分類問題，所謂的邏輯，一般我們說的邏輯就是邏輯0或者邏輯1，所以可以藉此理解。但是邏輯迴歸不僅僅只包括兩分類問題，它還包括多分類問題。 那麼能否使用線性迴歸的

斯坦福大學機器學習筆記——正則化的邏輯迴歸模型

在上面部落格中我們討論了正則化的線性迴歸模型，下面我們來討論一下正則化的邏輯迴歸模型。 前面我們講述了兩種常用於邏輯迴歸的方法： 基於梯度下降法的邏輯迴歸模型 基於高階優化的邏輯迴歸模型 基於

斯坦福大學機器學習筆記——異常檢測演算法（高斯分佈、多元高斯分佈、異常檢測演算法）

異常檢測問題介紹： 異常檢測演算法主要用於無監督學習問題，但從某種角度看它又類似於一種有監督學習的問題，下面我們從一個例子中簡單介紹一下什麼是異常檢測問題。 比如我們有一個飛機引擎製造商，對於一個新造出的飛機引擎我們想判斷這個引擎是不是異常的。 假如我們有

斯坦福大學機器學習筆記——聚類（k-均值聚類演算法、損失函式、初始化、聚類數目的選擇）

上面的部落格的演算法都是有監督學習的演算法，即對於每個資料我們都有該資料對應的標籤，資料集的形式如下： 而今天我們學習的演算法是一種無監督學習的演算法——聚類，該演算法中的每個資料沒有標籤，資料集的形式如下： K-均值聚類 k-均值聚類是一種最常見

機器學習筆記:線性迴歸、邏輯斯蒂迴歸推導

參考書籍：《統計學習方法》，cs229，其他 1、線性迴歸 1.1、線性迴歸表示 線性迴歸屬於監督學習問題，輸入X與輸出Y成線性關係，只要我們得到了這個具體的關係，那麼對於待預測的資料X我們便可以知道Y的值。現在就來求這個線性關係 先定義好變量表示。記輸入變量表示為

斯坦福大學機器學習筆記——推薦系統（協同過濾、低秩分解、推薦系統）

這個部落格讓我們來討論一下推薦系統，首先我們來討論一下為什麼學習推薦系統： 1. 推薦系統是機器學習中的一個重要應用，它已經用於很多企業中，比如淘寶、今日頭條、亞馬遜等。它們會根據你的瀏覽記錄，當你再

斯坦福大學機器學習筆記——多變數的線性迴歸以及梯度下降法注意事項（內有程式碼）

在前面部落格中介紹了單變數線性迴歸的實現過程，本文將介紹多變數線性迴歸演算法。 兩者的對比如下： 1.資料方面的差異： 單變數線性迴歸資料： 多變數線性迴歸資料： 對於單變數線性迴歸來說，只有一個特徵（房子的大小），而對於多變數線性特徵迴歸特徵

斯坦福大學機器學習筆記——單變數的線性迴歸以及損失函式和梯度下降法（包含程式碼）

迴歸問題： 所謂的迴歸問題就是給定的資料集，且每個資料集中的每個樣例都有其正確的答案，通過給定的資料集進行擬合，找到一條能夠最好代表該資料集的曲線，然後對於給定的一個樣本，能夠預測出該樣本的答案（對於迴歸問題來說，最終的輸出結果是一個連續的數值）。比如

Machine Learning（Stanford）| 斯坦福大學機器學習筆記--第二週（1.多元線性迴歸及多元線性迴歸的梯度下降）

一.Multivariate Linear regression(多元線性迴歸) 現在起將開始介紹一種新的更為有效的線性迴歸形式。這種形式適用於多個變數或者多特徵量的情況。 在之前學習過的線性迴歸中

斯坦福大學機器學習筆記——特徵和多項式迴歸以及正規方程

我們可以舉一個例子來引入多項式迴歸： 比如我們之前遇到的房價問題，對於房價的影響我們假設有兩個特徵，一個是房子的寬度x1，另外一個是房子的長度x2，這針對房價的估測我們可以建立下面形式的假設： hθ

斯坦福大學機器學習筆記——機器學習系統設計（誤差分析、查全率和查準率、F1值）

這次部落格我們主要討論機器學習系統設計的主要問題，以及怎樣巧妙的構建一個複雜的機器學習系統。 我們先用一個例子引入機器學習系統的設計： 以一個垃圾郵件分類器演算法為例： 對於該問題，我們首先要做的是怎樣選擇並且表達特徵向量x。我們可以選擇100個詞所構

Machine Learning（Stanford）| 斯坦福大學機器學習筆記--第一週（1.監督學習與無監督學習的介紹）

以上例子中，總共有兩個特徵，即病人年齡和腫瘤大小。在別的ML問題中，經常會用到更多特徵，別人在研究這個問題時， 通常使用如下這些特徵：比如腫瘤的厚度，腫瘤細胞大小和形狀的一致性等等。 真正對於一些學習問題，用到的不只是三五個特徵，經常要用到無數多個特徵，非常多的屬性。所以，你的學習演算法要利用很多的屬性或特徵

斯坦福大學深度學習筆記：邏輯迴歸

z 邏輯迴歸（LOGISTIC REGRESSION）            Logistic regression （邏輯迴歸）是當前業界比較常用的機器學習方法，用於估計某種事物的可能性。之前在經典之作《數學之美》中也看到了它用於廣告預測，也就是根據某廣告被使用者點選的可

CSDN機器學習筆記一 概述、線性迴歸

一、課程知識點 講師：唐宇迪 本次課程 1.系列課程環境配置 2.機器學習概述 3.線性迴歸演算法原理推導 4.邏輯迴歸演算法原理 5.最優化問題求解 6.案例實戰梯度下降 一、機器學習處理問題過程及常用庫 1. 機

吳恩達斯坦福大學機器學習 CS229 課程學習筆記（一）

說到機器學習總繞不過幾個鼎鼎大名的人物，他們都創造了不少的機器學習資料，斯坦福吳恩達Andrew Ng的公開課CS229；Google李飛飛的CS231、周志華的、李航的《統計學習方法》、林軒田的《機器學習基石》、Peter Harringtond 的《機器學習實戰》、周志華

機器學習-對線性迴歸、邏輯迴歸、各種迴歸的概念學習

迴歸問題的條件/前提：1） 收集的資料2） 假設的模型，即一個函式，這個函式裡含有未知的引數，通過學習，可以估計出引數。然後利用這個模型去預測/分類新的資料。1. 線性迴歸假設 特徵 和 結果 都滿足線性。即不大於一次方。這個是針對 收集的資料而言。收集的資料中，每一個分量，

【機器學習筆記】二、 Regression迴歸

一、基礎 這裡面，輸入變數x有兩個，一個是居住面積(living area)，一個是房間數目(bedrooms)。 所以x 是一個二維向量。表示第i組資料中的居住面積（living area）。表示第i組資料中的房間數目。 我們假設輸入和輸出呈線性關係，那麼便有下面的公式

斯坦福大學機器學習課程第二周筆記

線性 line bili tla oct linear 基礎語 大學 學習 簡記 軟件安裝 Octave matlab 多元線性回歸multiple linear regression 多元梯度下降 特征縮放feature scaling 學習速率learning

斯坦福2014機器學習筆記七----應用機器學習的建議

訓練集 image 是的 bsp 推斷 學習曲線 正則 偏差 wid 一、綱要 　　糾正較大誤差的方法 　　模型選擇問題之目標函數階數的選擇 　　模型選擇問題之正則化參數λ的選擇 　　學習曲線 二、內容詳述 　　1、糾正較大誤差的方法 　　當我們運用訓練好了的模型來做預測時

斯坦福CS20SI TensorFlow學習筆記1——graph、session和op

efault constant 例如 sub 否則 我們 vector 安全 出現 graph即tf.Graph()，session即tf.Session()，很多人經常將兩者混淆，其實二者完全不是同一個東西。 graph定義了計算方式，是一些加減乘除等運算的組合，類似於