邏輯迴歸(數學推導+python實現+sklearn相關包使用)

1. 原理講解及數學公式推導

邏輯迴歸(logistic regression)也叫做對數機率迴歸, 其實它是一種分類方法
在上一章，我們介紹了最基本的線性迴歸，那麼如何進行分類任務呢?
注意上一章講過的廣義線性模型(generalized linear regression), 只要找到一個單調可微函式, 接近單位階躍函式，但是要連續，可以把預測的迴歸值和輸出標記yϵ{0,1}$yϵ\{0,1\}$ 聯絡起來(二分類任務中)
我們只能尋找單位階躍函式的替代函式(surrogate function), \ 接下來讓我們請出Sigmoid函式

中的代表: logistic function(邏輯迴歸函式或對數機率函式) :

g(z)=11+e−z$$g(z)=\frac{1}{1+e^{-z}}$$
函式影象如下:

圖1   Logistic function
注: Sigmoid函式即形似S型的一類函式，logistic function是其最典型的代表
將此函式代入廣義線性模型，得到的線性模型如下:
ϕ(z)=11+e−(θTxx+b)$$\varphi (z)=\frac{1}{1+e^{-({\mathit{\theta }}^{T}xx+b)}}$$
y$y$可以被看成類後驗概率p(y=1|xx)$p(y=1|xx)$ 即被當作正例的概率, 很自然地讓y>=0.5$y>=0.5$的歸為正例，y<0.5$y<0.5$

則歸為反例

代價函式

我們同樣使用均方誤差即誤差的平方和來替代:

J(θθ)=∑i=1m(ϕ(z(i))−y(i))2,z(i)=θθTx(i)x(i)+b$$J(\theta \theta )=\sum _{i=1}^m(\varphi (z^{(i)})-y^{(i)}{)}^2,z^{(i)}=\theta {\theta }^T{x}^{(i)}{x}^{(i)}+b$$
但是如果我們將ϕ(z)=11+e−(θTxx+b)$\varphi (z)=\frac{1}{1+e^{-({\mathit{\theta }}^{T}xx+b)}}$ 代入上式，會發現代價函式並不是個凸函式，這樣不利於進行最優化求解。
因為ϕ(z)$\varphi (z)$ 可以看做正例的後驗估計，那麼可以得到:
p(y=1|x;θx;θ)=ϕ(z)=ϕ(θTxθTx+b)$$p(y=1|x;\theta x;\theta )=\varphi (z)=\varphi ({\theta }^{T}x{\theta }^{T}x+b$$

)
p(y=0|x;θx;θ)=1−ϕ(z)=1−ϕ(θTxθTx+b)$$p(y=0|x;\theta x;\theta )=1-\varphi (z)=1-\varphi ({\theta }^{T}x{\theta }^{T}x+b)$$
這兩個式子可以結合起來變為一般形式:
p(y|x;θx;θ)=ϕ(z)y(1−ϕ(z))1−y$$p(y|x;\theta x;\theta )=\varphi (z{)}^y(1-\varphi (z){)}^{1-y}$$
我們通過給定的資料集進行極大似然法(maximum likelihood method)估計引數θθ$\theta \theta$ :