在前面所介紹的線性回歸, 嶺回歸和Lasso回歸這三種回歸模型中, 其輸出變量均為連續型, 比如常見的線性回歸模型為:

其寫成矩陣形式為:

現在這裏的輸出為連續型變量, 但是實際中會有"輸出為離散型變量"這樣的需求, 比如給定特征預測是否離職(1表示離職, 0表示不離職). 顯然這時不能直接使用線性回歸模型, 而邏輯回歸就派上用場了.

1. 邏輯回歸

引用百度百科定義

邏輯(logistic)回歸, 又稱logistic回歸分析，是一種廣義的線性回歸分析模型，常用於數據挖掘，疾病自動診斷，經濟預測等領域。

也就是說邏輯回歸是從線性回歸模型推廣而來的, 我們從假設函數開始說起.

1. 假設函數

現假設因變量取值0和1, 在自變量X的條件下因變量y=1的概率為p, 記作p=P(y=1|X), 那麽y=0的概率就為1-p, 把因變量取1和取0的概率比值p/(1-p)稱為優勢比, 對優勢比取自然對數, 則可以得到Sigmoid函數:

令Sigmoid(p)=z, 則有:

而Logistic回歸模型則是建立在Sigmoid函數和自變量的線性回歸模型之上(這可能就是為什麽帶有"回歸"二字的原因吧), 那麽Logistic回歸模型可以表示為:

上式也常常被稱為邏輯回歸模型的假設函數, 其函數圖像為:

通過圖像可以看出的取值範圍為, h(x)的取值範圍為[0, 1], 對於二分類問題來說, h(x)>=0.5則y=1, h(x)<0.5則y=0, 而且通過圖像得知: 當

模型的假設函數知道了, 接下來看看損失函數.

2. 損失函數

既然邏輯回歸是建立在線性回歸模型之上, 那麽我們先來回顧線性回歸的損失函數:

如果將我們邏輯回歸的假設函數代入上式損失函數, 繪制出來的圖像則是非凸函數, 其很容易產生局部最優解, 而非全局最優解, 為了找到使得全局最優解, 我們需要構造一個凸函數.

由於對數函數能夠簡化計算過程, 因此這裏也是通過對數函數來構建, 先來回歸下對數函數的圖像(原圖來自百度百科):

通過上圖可以發現綠線部分與我們要構造的凸函數較接近. 當a=e時, 綠線部分可以分別表示為: -log_e

當上式中的y=1時, 其結果為-log_eh(x); 當y=0時, 其結果-log_e[1-h(x)].

最後, 將上式代入我們的損失函數中, 則有:

當然, 也可以用統計學中的極大似然法構造出上式損失函數. 損失函數有了, 下一步則是求解損失函數最小的算法了.

3. 算法

常用的求解算法有梯度下降法, 坐標軸下降法, 擬牛頓法. 下面只介紹梯度下降法(其他方法還未涉及)

你也許會有疑問, 既然是線性回歸模型推廣而來, 那麽為什麽沒有最小二乘法呢? 最小二乘法是用來求解最小誤差平方和的算法, 而誤差的平方和正是我們上面提到的線性回歸的損失函數, 通過其構造出來的邏輯回歸的損失函數是非凸的不容易找到全局最優解, 故不選用最小二乘法, 而通過極大似然法則可以構造出凸函數, 進而可以使用梯度下降法進行求解.

對於梯度下降法的理解在這節, 這裏直接給出其表示:

具體的求解過程:

因此, 我們的梯度下降法可以寫成(其中, x₀=1):

上式也被稱為批量梯度下降法, 另外兩種: 隨機梯度下降法和小批量梯度下降法分別表示為:

2. 優缺點及優化問題

1. 優點

1) 模型簡單, 訓練速度快, 且對於輸出變量有很好的概率解釋

2) 可以適用連續型和離散型自變量.

3) 可以根據實際需求設定具體的閥值

2. 缺點

1) 只能處理二分類問題.

2) 適用較大樣本量, 這是由於極大似然估計在較小樣本量中表現較差.

3) 由於其是基於線性回歸模型之上, 因此其同樣會出現多重共線性問題.

4) 很難處理數據不均衡問題

3. 優化

1) 可以在二分類上進行推廣, 將其推廣到多分類回歸模型

2) 對於多重共線性問題, 也可以通過刪除自變量, 進行數據變換, 正則化, 逐步回歸, 主成分分析等方法改善, 對於正則化邏輯回歸同樣有兩種: L1和L2, 其分別表示為:

L1正則化

L2正則化

機器學習--邏輯回歸模型原理