邏輯迴歸演算法是二分類問題中最常用的幾種分類演算法之一，通過變形，也能夠在多分類問題中發揮餘熱。今天我將從向大家揭開這個簡單演算法的神祕面紗！

一、Sigmoid函式

在迴歸問題中，我們曾經提到，對於資料集 $X$,我們可以找到合適的係數 $W$

Sigmoid函式的 $y$值分佈在 $[0,1]$之間，它的函式表示式為 $y = \frac{1}{1+e^{-x}}$，影象如下圖所示。

也就是說，對於n維資料集 $X$，如果我能夠找到合適的係數 $W$，並將 $WX$代入Sigmoid函式中，使得結果 $Y = sigmoid(WX)$在 $[0,1]$範圍內分佈，大小代表了樣本為正樣本的概率。例如 $Y(X) = 0.8$,說明該樣本有80%的可能性為正樣本，有20%的可能性為負樣本。通過這種方法，我們就能夠對樣本集進行二分類操作。

二、邏輯迴歸的損失函式

當我們確定好邏輯迴歸的模型 $y = \frac{1}{1 + e^{-WX}}$後，我們接下來的任務就是如何去評價這個模型的好壞，也就是找打一個損失函式，來表示預測的輸出 $Y_{predict}$和訓練資料類別 $Y_{true}$之間的區別。

2.1 最大似然估計

假設對於給定的資料集 $D =[ {(X^{(1)},y^{(1)}),.....,(X^{(m)},y^{(m)})]}$
預測函式為： $h(X) = \frac{1}{1 + e^{-WX}}$
則對對於輸入X其分類結果為1和為0的概率分別為：
$P(y=1| X;W) = h(X)$
$P(y=0| X;W) = 1 - h(X)$（注：預設類別1為正類別）
即： $P(y|X;W) = (h(X))^y(1-h(X))^{1-y}$
那麼基於最大似然估計，得到似然函式：
$L(W) = \prod_{i=1}^{m}P(y^{(i)}|X^{(i)};W) = (h(X^{(i)}))^{y^{(i)}}(1-h(X^{(i)}))^{1 - y^{(i)}}$
對數似然函式則為：
$l(W) = log L(W) = \sum_{i=1}^{m} (y^{(i)} log h(X^{(i)})+(1 - y^{(i)})log(1 - h(X^{(i)}))$
也就是說，如果我們希望 $Y_{predict}$與 $Y_{true}$之間的差別最小，那麼我們需要使最大對數似然函式 $l(W)$取最大值，此時我們所求得的 $W$就是我們所需要的係數。

所以我們的損失函式為：
$$