邏輯迴歸與線性迴歸求解過程：

總體來說，迴歸過程都分三步：

1、Model

2、Loss Fuction

3、Gradient Decent

分析：

1、Model：線性迴歸中，模型為線性方程，取值範圍無窮大；邏輯迴歸中，通過sigmod函式函式將線性方程z轉化成概率（見上一篇部落格）。

2、Loss Function：線性迴歸損失函式由均方差來衡量；邏輯迴歸由交叉熵衡量。

邏輯迴歸的Loss Function由Training Data來決定，模型需確保Training Data分類正確率最大，假設Training Data為

，則概率表示為

求上述概率公式最大化即可得到模型引數。這裡做一個轉化，將函式稍作變化，轉化為對數形式且取負號：

，變成求最小值。

則Loss function表示為（其中將樣本分類用1和0表示，y表示每個樣本的實際分類情況）：

，

由上式看出，Loss Function表示為實際分類與預測分類結果的交叉熵

，其中p表示實際樣本的二值分佈，q表示預測概率的二值分佈。

交叉熵最小時，表示二者的概率分佈約接近。

3、Gradient Decent：在求梯度下降時，兩種情況對Loss Function求導得到的梯度下降表達式一致。