文章目錄

• LR簡介
• 損失函式
• 參考

LR簡介

邏輯斯諦迴歸是一種經典的線性分類方法，又被稱為對數機率迴歸，其屬於對數線性模型。

線性迴歸完成了資料的擬合，我們通過引入一個 $sigmoi$

sigmoid函式定義如下
$y=\frac{1}{1}$

以二分類任務為例，取 $y\in \{0,1\}$，我們定義二項邏輯斯諦迴歸模型為如下條件概率分佈：

$P(Y=1|x) = \frac{\exp(w\cdot x + b)}{1 + \exp(w\cdot x + b)}\\ P(Y=0|x) = \frac{1}{1 + \exp(w\cdot x + b)}$

一個事件的機率是指該事件發生的概率與不發生的概率的比值，如果事件發生的概率為 $p$，則該事件的機率為 $\frac{p}{1-p}$，則該事件的對數機率即為：
$\log \frac{p}{1-p}$

考慮邏輯斯諦迴歸模型，
$\log \frac{P(Y=1|x)}{1-P(Y=1|x)} = w\cdot x + b$

也就是說，輸出 $Y=1$的對數機率是輸入 $x$的線性函式。

損失函式

對於給定的訓練資料集，我們採用極大似然估計法來估計模型的引數，似然函式為：
$\prod_{i=1}^N[P(y_i=1|x_i)]^{y_i}[1-P(y_i=1|x_i)]^{1-y_i}$
對數似然函式為：
$\begin{aligned} L(w,b) &= \sum_{i=1}^N[y_i\log P(y_i=1|x_i) + (1-y_i) \log (1- P(y_i=1|x_i))]\\ & = \sum_{i=1}^N[y_i\log \frac{P(y_i=1|x_i)}{1-P(y_i=1|x_i)} + \log (1-P(y_i=1|x_i)) ]\\ & = \sum_{i=1}^N[y_i(w\cdot x_i + b) - \log (1 + \exp(w\cdot x + b))] \end{aligned}$

然後對 $L(w,b)$