原文出處

本文在原文的基礎上增加僅一些個人理解

前言

上一篇文章中，已經說明在邏輯斯諦迴歸模型中就是利用極大似然估計，來求出引數ω${\displaystyle \omega }$，然後根據輸入的x${\displaystyle x}$，利用公式來預測y${\displaystyle y}$

在本文中，當求出ω${\displaystyle \omega }$後，不再利用P(Y=1|x)=exp(wx)1+exp(wx)${\displaystyle P(Y=1|x)={\displaystyle \frac{\exp \left(wx\right)}{1+\exp \left(wx\right)}}}$以及P(Y=0|x)=11+exp(wx)${\displaystyle P(Y=0|x)={\displaystyle \frac{1}{1+\exp \left(wx\right)}}}$兩個公式分別計算出Y=0${\displaystyle Y=0}$以及Y=1${\displaystyle Y=1}$的概率，而是用一個sigmoid${\displaystyle sigmoid}$函式來計算概率，當計算出的值接近於1時，也即是Y=1${\displaystyle Y=1}$，當計算出的值接近於0時，也即是Y=0${\displaystyle Y=0}$

正文

生成資料

本文中將使用模擬資料，我們可以從多維正態分佈中取樣

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

np.random.seed(12)
num_observations = 5000

x1 = np.random.multivariate_normal([0, 0], [[1, .75],[.75, 1]], num_observations)
x2 = np.random.multivariate_normal([1, 4], [[1, .75],[.75, 1]], num_observations)

simulated_separableish_features = np.vstack((x1, x2)).astype(np.float32)
simulated_labels = np.hstack((np.zeros(num_observations),
                              np.ones(num_observations)))
 

正態分佈

x∼N(σ,μ2)$$x\sim N\left(\sigma ,{\mu }^2\right)$$
可以看出，對於一個正態分佈有兩個重要的引數期望和方差
[1] np.random.multivariate_normal${\displaystyle np.random.multivariate\mathrm{\_}normal}$ 引數含義
觀測生成的資料

plt.figure(figsize=(12,8))
plt.scatter(simulated_separableish_features[:, 0], simulated_separableish_features[:, 1],
            c = simulated_labels, alpha = .4)

選擇預測函式

一般的線性模型都會使用聯絡函式將線性模型與預測值聯絡起來，在邏輯斯諦迴歸模型中，使用sigmoid${\displaystyle sigmoid}$函式作為聯絡函式

def sigmoid(scores):
    return 1 / (1 + np.exp(-scores))

極大似然估計

為了最大化似然函式，我們需要似然函式的公式以及似然函式的梯度。幸運的是， 對於二分類問題來說似然函式可以轉變為對數似然函式。在極大似然估計中，我們可以不用影響權重引數評估來達到我們的目的，因為對數變換是單調的。

對數似然計算

可以把對數似然函式看作所有訓練資料的和
公式：

ll=∑i=1nyiβTxi−log(1+βTxi)$$ll=\sum _{i=1}^n{y}_i{\beta }^T{x}_i-\log \left(1+{\beta }^T{x}_i\right)$$
y${\displaystyle y}$是目標分類(0或1)，xi${\displaystyle xi}$是輸入資料，β${\displaystyle \beta }$是權重向量

梯度計算

我們需要一個計算對數似然函式的公式，可以對上面的公式進行求導並再形成一個矩陣

∇ll=XT(Y−Predictions)$$\mathrm{\nabla }ll=X^T(Y-Predictions)$$

建立邏輯斯諦迴歸函式

def logistic_regression(features, target, num_steps, learning_rate, add_intercept = False):
    if add_intercept:
        intercept = np.ones((features.shape[0], 1))
        features = np.hstack((intercept, features))

    weights = np.zeros(features.shape[1])

    for step in xrange(num_steps):
        scores = np.dot(features, weights)
        predictions = sigmoid(scores)

        # Update weights with gradient
        output_error_signal = target - predictions
        gradient = np.dot(features.T, output_error_signal)
        weights += learning_rate * gradient

        # Print log-likelihood every so often
        if step % 10000 == 0:
            print log_likelihood(features, target, weights)

    return weights

關於for迴圈
可以與梯度下降法做一個比較

可以看到for迴圈裡面的步驟與梯度下降法大致一樣
不同的是，相比於梯度下降法，for迴圈中我們用定值learning_rate來代替λk${\displaystyle {\lambda }_k}$，並且我們並沒有判定當函式增長幅度十分小時是否應當退出迴圈
執行Logistic Regression

weights = logistic_regression(simulated_separableish_features, simulated_labels,
                     num_steps = 300000, learning_rate = 5e-5, add_intercept=True)

輸出

-4346.26477915
-148.706722768
-142.964936231
-141.545303072
-141.060319659
-140.870315859
-140.790259128
...
-140.725421355

與Sk-Learn 中的 LogisticRegression 做比較

我們並不知道我們自己的演算法計算出的權重值是否正確，但是我們知道Sk-Learn 中的 LogisticRegression演算法是正確的，因此把我們自己計算出的權重值與Sk-Learn 中的 LogisticRegression計算出的權重值進行比較即可

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression(fit_intercept=True, C = 1e15)
clf.fit(simulated_separableish_features, simulated_labels)
print(clf.intercept_, clf.coef_)
print(weights)

輸出

[-13.99400797] [[-5.02712572  8.23286799]]
[-14.09225541  -5.05899648   8.28955762]

看起來結果不錯，但是如果我們進行更多次的迴圈以及給出一個足夠小的learning_rate我們會得到一個更好的結果

為什麼?

當我們極大化對數似然函式時，我們用的是梯度上升法（和梯度下降法差不多，差別僅僅是一個負號）
梯度下降法有一個性質，當目標函式是凸函式時，梯度下降法的解是最優解
梯度上升法和梯度下降法僅僅相差一個負號，因此可以得出梯度上升法的性質：當目標函式是凹函式時，梯度下降法的解是最優解
[2]李航.附錄A梯度下降法.統計學習方法.2012${\displaystyle 李航.附錄A梯度下降法.統計學習方法.2012}$

精確度

最後，我們要利用求出來的權重值

相關推薦

邏輯斯諦迴歸--Python程式碼實現

原文出處 本文在原文的基礎上增加僅一些個人理解 前言 上一篇文章中，已經說明在邏輯斯諦迴歸模型中就是利用極大似然估計，來求出引數ωω，然後根據輸入的xx，利用公式來預測yy 在本文中，當求出ωω後，不再利用P(Y=1|x)=exp(wx)1+exp(

廣義線性迴歸之邏輯斯諦迴歸（ Logistic Regression）

廣義線性模型 邏輯斯諦迴歸概念可以認為是屬於廣義線性迴歸的範疇，但它是用來進行分類的。 線性模型的表示式為： f (

【統計學習方法-李航-筆記總結】六、邏輯斯諦迴歸和最大熵模型

本文是李航老師《統計學習方法》第六章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： http://www.cnblogs.com/YongSun/p/4767100.html https://blog.csdn.net/tina_ttl/article/details/53519391

邏輯斯諦迴歸(對數機率迴歸)

文章目錄 LR簡介 損失函式 參考 LR簡介 邏輯斯諦迴歸是一種經典的線性分類方法，又被稱為對數機率迴歸，其屬於對數線性模型。 線性迴歸完成了資料的擬合，我們通過引入一個

線性迴歸與嶺迴歸python程式碼實現

一、標準線性迴歸 線上性迴歸中我們要求的引數為： 所以程式碼實現主要就是實現上式，python程式碼如下： import numpy as np import pandas as pd import matplotlib.pyplot as plt # implem

邏輯斯諦迴歸與最大熵模型-《統計學習方法》學習筆記

 0. 概述： Logistic迴歸是統計學中的經典分類方法，最大熵是概率模型學習的一個準則，將其推廣到分類問題得到最大熵模型，logistic迴歸模型與最大熵模型都是對數線性模型。 本文第一部分主

邏輯斯諦迴歸與最大熵分類模型

1 邏輯斯諦演算法 1.1 工作原理 邏輯斯諦是一種最優化演算法。根據現有資料對分類邊界線建立迴歸公式，相當於找出一些擬合引數，將兩類資料儘可能的分開。為了實現迴歸分類，我們給每個特徵分配一個迴歸係數

使用牛頓法確定邏輯斯諦迴歸（Logistic Regression）最佳迴歸係數

邏輯斯諦迴歸 在邏輯斯諦迴歸中，因為使用梯度上升(gradient ascent)收斂較慢，固本文采用牛頓法(Newton’s Method)進行引數求解，試驗發現通常迭代10次左右就可達到收斂，而梯度上升法則需要迭代上百甚至上千次，當然實際的迭代次數也要視實際資料而定

統計學習方法 6-邏輯斯諦迴歸與最大熵模型

邏輯斯諦迴歸模型 邏輯斯諦分佈 二元邏輯斯諦迴歸模型 模型引數估計 多元邏輯斯諦迴歸 最大熵模型 最大熵原理 最大熵原理認為，學習概率模型時，在所有可能的概率模型（分佈）中，熵最大的模型是最好的模型。通常用約束條件來確定概率模型

對邏輯斯諦迴歸使用sigmoid的理解

看完統計學習方法對邏輯斯諦的講解之後，產生了一點疑問，為什麼輸出結果的概率分佈可以用邏輯斯諦分佈來表示？給定x的條件下，y的分佈一定服從邏輯斯諦分佈嗎？ 首先，糾正自己理解上的錯誤，服從邏輯斯諦分佈並不是x和y之間的關係P(Y|X)，從書上對邏輯斯諦分佈的定義來看，真正符合

邏輯斯諦迴歸（Logistic regression）—《統計學習方法》

邏輯斯諦迴歸（Logistic regression）是統計學習領域的一個經典分類方法，學習李航教授的《統計學習方法》將筆記和一些感悟記錄下來； 1 邏輯斯諦分佈（logistic distribution）   為一個連續型的隨機變數，分佈函式F和密度

機器學習：邏輯迴歸與Python程式碼實現

前言：本篇博文主要介紹邏輯迴歸（logistic regression），首先介紹相關的基礎概念和原理，然後通過Python程式碼實現邏輯迴歸的二分類問題。特別強調，其中大多理論知識來源於《統計學習方法_李航》和斯坦福課程翻譯筆記以及Coursera機器學習課程。 本篇博

梯度下降和邏輯迴歸例子(Python程式碼實現)

import numpy as np import pandas as pd import os data = pd.read_csv("iris.csv") # 這裡的iris資料已做過處理 m, n = data.shape dataMatIn = np.ones((m, n)) dataM

邏輯迴歸原理介紹與案例python程式碼實現

邏輯迴歸是用於分類的演算法。平常的線性迴歸方程為f(x)=wx+b，此時f(x)的取值可以是任意的，要讓預測的值可以分類，例如分類到class1是預測值為1，分類到class2時預測值為0。這時我們就要用到分類函式。下面來介紹一個分類函式sigmoid：其中z=wx+bf（z

Logistic Regression 邏輯迴歸演算法例子，python程式碼實現

轉載自原文 邏輯迴歸 Logistic Regression 雖然名字叫做邏輯迴歸 Logistic regression ，但它是一種分類演算法。對於文字處理方便，邏輯迴歸是一種非常強大的分類器。它主要通過在邏輯函式上執行迴歸來實現，正如其名字。 邏輯迴歸的一個小

SVM原理_SVM分類和迴歸預測中的python程式碼實現

今天晚上有點惱火，花60大洋買了一本書，越來越替某些出書的作者擔憂（真想說一句，閉上你TM的那張臭嘴，別用良心去轉版權費），寫的真的是太糟糕了…….不知到是什麼支撐它寫下去的。不說了，回到上面的內容。 但還是要說幾點注意事項： （1）支援向量機它輸出的不是

常用的幾種機器學習演算法迴歸模型python程式碼實現

       由於在論文實驗過程中一直使用的是python語言完成的論文實驗，所以在論文需要使用機器學習方法時就考慮使用了scikit-learn。        scikit-learn是一款很好的Python機器學習庫，它包含以下的特點：        （1）簡單高效的資

機器學習：線性迴歸與Python程式碼實現

前言：本篇博文主要介紹線性迴歸模型（linear regression），首先介紹相關的基礎概念和原理，然後通過Python程式碼實現線性迴歸模型。特別強調，其中大多理論知識來源於《統計學習方法_李航》和斯坦福課程翻譯筆記以及Coursera機器學習課程。 1.線性迴歸

【Tensorflow】邏輯斯特迴歸（Logistic Regression）的簡單實現

Introduction 為了簡單的介紹和講解一下Tensorflow的基本操作， 我決定做一個簡單的邏輯斯特迴歸實現與程式碼講解， 但不太會用Markdown的方式來展現一個JupyterNotebook， 姑且就按照“說明—例項”的方式來解釋逐個程式碼塊好了

python程式碼實現狄克斯特拉演算法

狄克斯特拉演算法找最短路徑問題: 之前我們瞭解過，用廣度優先搜尋，找出段數最少的路徑，但是要找出最快的路徑該怎麼做呢，為此我們可以用現在提到的演算法，狄克斯特拉演算法。 我們知道，狄克斯特拉算的輔助圖形必須是有向無環加權圖，這也就決定了該演算法的使用條件。 那什麼是有向