Logistic Regression實際上是基於Linear Regression的，與Linear Regression的不同在於輸出增加了一個非線性對映，即應用邏輯斯特函式將回歸結果對映到0到1(能夠將負無窮到正無窮對映到0-1的函式有很多，但是Logistic函式求導結果很簡潔，能讓伯努利的指數分散式標準形式(待理解))，從而可以利用概率來分類。

下面講一下LR 的推導過程。我們按照解決機器學習演算法一般過程來推導。即：

1.       建立模型---h(x)

2.       寫出代價函式(CostFunction)---由最大似然估計推導得出

3.       求解代價函式取最小值時的引數值---梯度下降。

具體過程：

1.首先是建立模型

   現在我們假設在二維平面上有兩類資料要進行分類。假定資料是線性可分的，我們可以用一條直線來將他們分開。

   直線的方程為：

，其實這就是多元線性迴歸方程。

而Logistic函式為：

 我們把多元線性迴歸方程的輸出作為自變數代入邏輯斯特函式，進而構造預測模型為：

我們最終要得到的就是這個模型h(x)。將待新樣本點輸入h(x)求出的值即為該樣本為正例的概率。反之1-h(x)即為該樣本為負例的概率((我們可以看下面圖1,當z(即)趨近於正無窮時(正例)，h(x)=g(z)趨近於1，即為正例的概率為1，為負例的概率為1-h(x)趨近於0)，反之當z趨近於負無窮(負例)時，為正例的概率h(x)趨近於0，為負例的概率1-h(x)趨近於1。

2.然後具體推導損失函式

   損失函式的推導應用了最大似然估計，最大似然估計就是最終我們要求解的引數值應該是讓現有訓練樣本觀測值的概率最大，前面我們得出結論

，把這個式子綜合起來就是

，取似然函式

，為了方便計算，取對數似然函式得到

，最大似然估計就是要求使得l(θ)最大的θ，為了能方便的應用梯度下降法求解引數我們在這裡取損失函式為：

，求對數似然函式的最大就是求J(θ)的最小，下面講一下用梯度下降法求解最優引數過程。

3.梯度下降求解引數

     首先是J(θ)對求導。

然後在J(θ)負梯度方向上更新的值，即

，其中@為學習速率。這裡由於的存在可以省略1/m。即

最終會收斂，分類模型因此求出。