Logistic迴歸是一個線性概率分類器。通過加權矩陣W和偏置向量b實現了引數化。通過將資料點投影到超平面集上來實現分類,其中距離反映資料點的歸屬概率。

其中會用到一個非常重要函式,能夠將資料投影,利用數學語言表述:


這是一個關於點(0,0.5)對稱的奇函式。從這個意義上說來,logistic迴歸與線性迴歸有著許多相似之處。我們可以將線性迴歸中的資料做一下處理,即g(z) = z

線上性迴歸問題中,由於對於應變數y值的取值範圍沒有限定,所確定的分類面為=0。但在實際問題中,常會遇到應變數y只取0,1兩個值的情形。在這種情形下,繼續使用線性迴歸顯然是不適用的。為了實現分類,利用logistic函式或sigmoid函式將分類面投影:


是待估引數,此時函式的取值範圍在(0,1)區間,假設


y是離散型隨機變數,上式是它的分佈律。在具體問題中,當我們訓練出引數theta後,分別計算上述概率,那個的概率大就將待預測樣本劃分到相應的類中。

為了以後分析方便起見,我們將它轉換為如下形式:


上述表示式是將隨機變數的分佈律寫成統一的形式,其中theta是未知引數,需要對其進行估計,(x,y)相當於採自這個分佈的一組樣本,現在根據這些樣本,求未知引數theta的極大似然估計。首先寫出似然函式


現在需要求使得似然函式達到最大值時的引數theta,上述形式不容易求解。因為函式與其對數函式有相同的單調性。我們求它的對數似然


利用梯度下降法求上述函式的極大值點,先求其梯度


最終迭代更新引數的公式為:




下面是logistic迴歸的簡單實現,程式設計的過程與線性迴歸極為相似,只是價值函式和梯度略有不同