廣義線性模型

邏輯斯諦迴歸概念可以認為是屬於廣義線性迴歸的範疇，但它是用來進行分類的。
線性模型的表示式為： $f\left(x\right)=w_0$

那麼可否將模型的預測值逼近 $y$的衍生物呢？

假設我們認為例項所對應的輸出標記是在指數尺度上變化，那麼就將輸出標記的對數作為線性模型逼近的目標，
即 $lny=w^Tx+b$ ——（2）

這就是“對數線性迴歸”（log-linear regression）,它實際上式在試圖讓 $e^{w^Tx+b}$逼近 $y$

式2在形式上仍是線性迴歸，但實質上已經是在求取輸入空間到輸出空間的非線性函式對映。

這裡的對數函式起到了將線性迴歸模型的預測值與真實標記聯絡起來的作用。（LR裡面是用的sigmoid函式將線性模型的預測值與真實值聯絡起來的）

更一般地，考慮單調可微函式 $g(x)$,令
$y=g^{-1}(w^Tx+b)$
這樣得到的模型稱為“廣義線性模型”（generialized linear model），其中函式 $g(x)$稱為聯絡函式。
廣義線性模型的引數估計通常通過加權最小二乘法或極大似然法進行求解。

邏輯斯諦迴歸（LR）

1.邏輯斯諦分佈
定義：設X是連續隨機變數，X服從邏輯斯諦分佈指的是X具有下列的分佈函式與密度函式
$F(x)=P(X≤x)=\frac{1}{1+e^{-(x-μ)/γ}}$

$f(x)=F'(x)=\frac{e^{-(x-μ)/γ}}{γ(1+e^{-(x-μ)/γ})^2}$
邏輯斯諦分佈的密度函式 $f(x)和分佈函式F（x)的圖形如下所示：$

2 二項邏輯斯諦迴歸模型

二項邏輯斯諦迴歸模型是一種分類模型，由條件概率分佈 $P(Y|X)$表示，形式是引數化的邏輯斯諦分佈。
定義：邏輯斯諦迴歸模型，二項邏輯斯諦模型是如下的條件概率分佈：

$P(Y=1|x)=\frac{exp(wx+b)}{1+exp(wx+b)}$

$P(Y=0|x)=\frac{1}{1+exp(wx+b)}$
其中 w是權值向量，b是偏置，wx是w和x的內積。

對於給定的輸入例項x，按照上面的公式可以求得 $P(Y=1|x)和P(Y=0|x)$，邏輯斯諦迴歸比較兩個條件概率值得大小，將例項x分到概率值較大的一類。

考察邏輯斯諦迴歸模型的特點：
一個事件的機率（odds）是指該事件發生的概率與該事件不發生的概率的比值，如果事件發生的概率為p，那麼該事件的機率為 $\frac{p}{1-p}$

該事件的對數機率為 $logit(p)=log\frac{p}{1-p}$
對邏輯斯諦迴歸而言

$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=wx$