問題描述

對於維度為 $m + 1$ 特徵為 $x$ 樣本的二分類問題，有負類（Negative Class）記為 $0$ ，正類（Positive Class）記為 $1$ ，即對於類別 $y$ ，有

y \in {0, 1} .

我們期望找到一個

h_{θ} (x)

，使得

0 ⩽ h_{θ} (x) ⩽ 1 .

其中，

θ

為待優化的引數，使得在對未知類別的樣本

x_{0}

分類時，

h_{θ} (x_{0})

為樣本為正類的概率。即分類準則如下：

y_{0} = {\begin{cases} 0, & if h_{θ} (x_{0}) < 0.5; \\ 1, & if h_{θ} (x_{0}) \geq 0.5. \end{cases}

Logistic迴歸

線上性迴歸（Linear Regression）中，我們常找一組引數

θ = (\begin{matrix} θ_{0} \\ θ_{1} \\ . . . \\ θ_{m} \end{matrix})

計算

f (x) = θ^{T} x .

設定閾值

T

，通過

f (x)

與

T

的大小關係判斷正負類。
而在Logistic迴歸中，我們引入Sigmoid函式

g (z) = \frac{1}{1 + e^{- z}} .

其影象如下

Logistic迴歸取hypothesis function為

\begin{aligned} h_{θ} (x) & = g (θ^{T} x) \\ = \frac{1}{1 + e^{θ^{T} x}} \\ = p (y = 1 | x; θ) \\ = p (y = 0 | x; θ) . \end{aligned}

即

h_{θ} (x)

等價於正類的概率，由Sigmoid函式影象可知，當

θ^{T} x \geq 0

時，判定為正類，當

θ^{T} x < 0

時，判定為負類。

代價函式（cost function）

與線性迴歸問題類似，Logistic同樣需要定義代價函式使用梯度下降法優化引數
由於Sigmoid函式的使用，若使用與線性迴歸相同的二次損失函式，優化問題將變為非凸問題，即可能存在很多區域性最優解。Logistic迴歸採用以下損失函式

c o s t (h_{θ} (x), y) = {\begin{cases} - \log (h_{θ} (x)), & if y = 1; \\ - \log (1 - h_{θ} (x)), & if y = 0. \end{cases}

經典的機器學習二分類演算法——Logistic迴歸

問題描述

Logistic迴歸

代價函式（cost function）

經典的機器學習二分類演算法——Logistic迴歸

機器學習二——分類算法--決策樹DecisionTree

機器學習實戰筆記4—Logistic迴歸

吳恩達-機器學習(3)-分類、邏輯迴歸、多分類、過擬合

我與機器學習 - [Today is LR] - [Logistic 迴歸]

機器學習(二)——多變數線性迴歸

機器學習8/100天-Logistic迴歸原理與實現

機器學習python分類演算法

機器學習實戰——python實現Logistic迴歸

《機器學習實戰》5.Logistic迴歸原始碼實現

機器學習各種分類演算法比較

【機器學習筆記1】Logistic迴歸總結

機器學習實戰筆記5(logistic迴歸)

【機器學習實戰】5.Logistic迴歸（1）

機器學習-KNN分類演算法Iris例項

機器學習3-分類演算法

機器學習(二)：理解線性迴歸與梯度下降並做簡單預測

機器學習實踐（十五）—sklearn之分類演算法-邏輯迴歸、精確率、召回率、ROC、AUC

機器學習（二）：logistic迴歸

機器學習筆記04：邏輯迴歸(Logistic regression)、分類(Classification)

經典的機器學習二分類演算法——Logistic迴歸

問題描述

Logistic迴歸

代價函式（cost function）

相關推薦