1.Logistic分佈：

logistic分佈定義：設X是連續隨機變數，X服從logistic分佈，即為X具有下列分佈函式和密度函式：

其中，mu為位置引數，r>0為形狀引數；

logistic分佈的分佈函式F(x)的圖形與密度函式f(x)的圖形如下所示：

分佈函式密度函式

分佈函式的圖形是一條S形曲線，該曲線是以(mu,1/2)為中心對稱，在曲線中心附近增長速度較快，而在兩端增長速度較慢，形狀引數r的值越小，曲線在中心附近增長越快；

2.二項 Logistic 迴歸模型

二項Logistic迴歸模型由條件概率分佈P(Y|X)表示，X為隨機變數，取值為實數，Y同為隨機變數，但取值為1或0；

二項Logistic迴歸模型的條件概率分佈：

其中，w稱為權值向量，b為偏置，x為輸入，Y為輸出，也就是說通過統計x的概率值，在那一類中的概率值較大，就將x分到那一類中，

3.模型引數估計

給定訓練資料集T={（x1,y1）,（x2,y2）,....（xN,yN）}, xi為實數，yi為0，1；

則通過極大似然估計法求得模型引數；

設P（Y=1|x）=p(x),，P（Y=0|x）=1-p(x)

似然函式表示為：

對數似然函式表示為：

然後對L(w)求極大值，得到w的估計值；

將對數似然函式作為目標函式，對其進行最優化問題；優化方法通常採用梯度下降法及擬牛頓法

對數損失函式的標準形式為：L(Y,P(Y|X)) = -logP(Y|X)意思就是什麼樣的引數才能使觀測到目前這組資料的概率最大。

因為log函式是單調遞增函式，所以log(P(Y|X)能夠得到最大值，但L(Y,P(Y|X))=-logP(Y|X),所以最大化P(Y|X)就等同於最小化L

邏輯迴歸的P(Y=y|x)表示式為：

令w*x+b=f(x),則邏輯迴歸P(Y=y|x)的表示式為：

將公式帶入到L（Y，P(Y|X)中，通過推導得到logistic的損失函式表示式，

最後推匯出logistic迴歸的目標公式：

梯度下降法：

梯度 下降是通過J(w)對引數w進行一階求導來找到下降方向，並且以迭代的方式更新引數，更新方式為 K為迭代次數；

每次更新引數後，通過比較||J(k+1）-J(k）||與某個閾值e大小項比較，比e小就停止；

牛頓法：

在現有極小點估計值的附近對f(x)做二階泰勒展開，進而找到極小點的下一個估計值

設 為當前極小值的估計值，那麼

對其進行求導，令導數求w的估計值，並與閾值e相比較；