1. 程式人生 > >為什麽邏輯斯特回歸(logistic regression)是線性模型

為什麽邏輯斯特回歸(logistic regression)是線性模型

softmax bsp 之間 ima 打破 regress 什麽 影響 線性變換

一個典型的logistic regression模型是:

技術分享

這裏明明用了非線性函數,那為什麽logistic regression還是線性模型呢?

首先,這個函數不是f(y,x)=0的函數,判斷一個模型是否是線性,是通過分界面是否是線性來判斷的。

這個P函數是y關於x的後驗概率,它的非線性性不影響分界面的線性性。可以通過令兩種類別的概率相等,求解x的表達式,如果是線性的,那麽就是線性模型。

打破線性也很簡單,只要變量之間相乘一下,或者使用非線性函數。

容易得出,softmax regression對於每兩個類別之間的boundary也是線性的。

現在的神經網絡使用RELU也就是max(0,x)進行非線性變換,可以看出這是一種非常簡單的非線性,但是在局部上依然有很強的線性性。

為什麽邏輯斯特回歸(logistic regression)是線性模型