logistic迴歸又稱logistic迴歸分析，是一種廣義的線性迴歸分析模型，它解決的是分類問題，常用於資料探勘，疾病自動診斷，經濟預測等領域。 1.logistic迴歸和線性迴歸的區別 logistic迴歸和線性迴歸的區別在於以下幾點： 1）線性迴歸要求變數服從正態分佈，logistic迴歸對變數分佈沒有要求。 2）線性迴歸要求因變數是連續性數值變數，而logistic迴歸要求因變數是分型別變數。 3）線性迴歸要求自變數和因變數呈線性關係，而logistic迴歸不要求自變數和因變數呈線性關係 4）logistic迴歸是分析因變數取某個值的概率與自變數的關係，而線性迴歸是直接分析因變數與自變數的關係 2. 區分logistic迴歸與線性迴歸

實際上，logistic迴歸與線性迴歸實際上有很多相同之處，最大的區別就在於他們的因變數不同，其他的基本都差不多，正是因為如此，這兩種迴歸可以歸於同一個家族，即廣義線性模型（generalized linear model）。這一家族中的模型形式基本上都差不多，不同的就是因變數不同，如果是連續的，就是多重線性迴歸，如果是二項分佈，就是logistic迴歸。logistic迴歸的因變數可以是二分類的，也可以是多分類的，但是二分類的更為常用，也更加容易解釋。所以實際中最為常用的就是二分類的logistic迴歸。 3. softmax迴歸、logistic迴歸以及線性迴歸的關係 那麼softmax迴歸、logistic迴歸以及線性迴歸他們三者是什麼關係呢？logistic迴歸，Softmax迴歸以及線性迴歸都是基於線性模型。其實Softmax 就是logistic的推廣，logistic一般用於二分類，而softmax是多分類。邏輯迴歸的啟用函式是sigmoid函式，可理解成一個被sigmoid函式歸一化後的線性迴歸，sigmoid函式把實數對映到了[0,1]區間。logistic迴歸可以通過推廣到softmax迴歸來解決多分類問題。 4. logistic/sigmoid函式 下面接著談談sigmoid函式，logistic函式的公式形式如下： sigmoid函式的數學公式： sigmoid函式的因變數x取值範圍是(-∞，+∞)，但是sigmoid函式的值域是(0,1)。不管x取什麼值其對應的sigmoid函式值一定會落到(0,1)範圍內。sigmoid函式對應的圖形就是logistic曲線，logistic曲線對應的函式就是sigmoid函式。圖形如下： sigmoid函式求導過程如下： 凡事都要做到知其然，知其所以然。sigmoid函式的值域∈(0,1)，這與概率值的範圍[0,1]很是巧合，我們可以把sigmoid函式與一個概率分佈聯絡起來，那就是伯努利分佈。伯努利分佈的概率質量函式為： 也可以知道x=1時的概率為p，x=0時的概率為1-p，即f(1|p) = p，f(0|p) = 1-p。 5.Logistic迴歸引數的估定 Logistic迴歸引數的估定有很多方法，如極/最大似然估計、最小二乘法估計、穩健估計、貝葉斯估計、帶懲罰項的極大似然估計。但是到目前為止使用最廣泛的是極大似然估計和最小二乘估計。這裡介紹最大似然估計方法： 然後取對數似然函式： Logistic迴歸引數的學習規則： 6.對數線性模型 一件事情的機率odds，是指該事件發生的概率與該事件不發生的概率的比值。 對數的機率稱為：logit函式 7.logistic迴歸的損失函式以及損失 分析logistic迴歸的損失函式通常我們使用的是梯度下降法。 梯度下降是迭代法的一種,可以用於求解最小二乘問題(線性和非線性都可以)，在求解機器學習演算法的模型引數，即無約束優化問題時，梯度下降（Gradient Descent）是最常採用的方法之一，另一種常用的方法是最小二乘法。在求解損失函式的最小值時，可以通過梯度下降法來一步步的迭代求解，得到最小化的損失函式和模型引數值。在機器學習中，基於基本的梯度下降法發展了兩種梯度下降方法，分別為隨機梯度下降法和批量梯度下降法。 7.1logistic迴歸的損失函式 首先yi∈{0,1} 7.2logistic迴歸的損失 首先yi∈{-1,1} 8.softmax迴歸 softmax邏輯迴歸模型是logistic迴歸模型在多分類問題上的推廣。softmax迴歸有一個不尋常的特點：它有一個“冗餘”的引數集。