為何說邏輯回歸是線性模型?

• 前言
• 邏輯回歸簡介
• 邏輯回歸的決策邊界

前言

邏輯回歸的公式中有使用到sigmoid函式，為何仍說邏輯回歸是線性模型呢?
本篇會從數學的角度來看邏輯回歸模型。我們在最後會發現，這跟邏輯回歸模型的決策邊界有關。

邏輯回歸簡介

雖然在邏輯回歸這個稱呼中有回歸兩字，但邏輯回歸其實並不是一個回歸模型，而是一個二分類的模型。它的數學公式十分簡單，先將輸入項與權重做內積，接著套上sigmoid函式，便會得到一個介於0與1之間的值。我們通常會設一個閾值，如0.5，將小於這個閾值的分做一類，大於這個閾值的分作另外一類。

邏輯回歸的決策邊界

首先給出邏輯回歸的數學公式：
$z=w^{T}x+b$

我們繼續來看在輸入特徵空間中，決策邊界究竟是何種形狀。首先從最簡單的例子看起，也就是x即單變數的情形。在這種情況下，我們可以令 $wx+b=0$，由此計算出在輸入特徵空間的決策邊界為 $x=-\frac{b}w$。意即在x是單變數時，決策邊界是一條線。

在x是多變數的時候，我們也可以用同樣的方法來找出決策邊界為 $w^{T}x=-b$，而這在高維空間的表現便是所謂的超平面。
由於在x為單變數或多變數的情形下，邏輯回歸的決策邊界皆是線性的，因此我們才說邏輯回歸是線性模型。