2. 程式人生 > >機器學習方法（五）：邏輯迴歸Logistic Regression，Softmax Regression

機器學習方法（五）：邏輯迴歸Logistic Regression，Softmax Regression

阿新 • • 發佈：2019-01-08

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。
技術交流QQ群：433250724，歡迎對演算法、技術、應用感興趣的同學加入。

前面介紹過線性迴歸的基本知識，線性迴歸因為它的簡單，易用，且可以求出閉合解，被廣泛地運用在各種機器學習應用中。事實上，除了單獨使用，線性迴歸也是很多其他演算法的組成部分。線性迴歸的缺點也是很明顯的，因為線性迴歸是輸入到輸出的線性變換，擬合能力有限；另外，線性迴歸的目標值可以是(−∞,+∞)，而有的時候，目標值的範圍是[0,1]（可以表示概率值），那麼就不方便了。

邏輯迴歸可以說是最為常用的機器學習演算法之一，最經典的場景就是計算廣告中用於CTR預估，是很多廣告系統的核心演算法。

邏輯迴歸Logistic Regression

邏輯迴歸(LR)，雖然叫回歸，然是從目標函式來看，它是設計用來做分類的，經典的LR是用於二分類的情況的，也就是說只有0,1兩類。

定義一個樣本xi∈Rm的類別是1的概率為：

P(yi=1|xi)=exp(wTxi)1+exp(wTxi)=11+exp(−wTxi)
這就是sigmoid函式的形式，繪製出來是這樣的形式：
這裡寫圖片描述、
圖1

可以看到，取值範圍是在(0,1)的，因此近似可以理解為一個概率的取值。在神經網路模型中，sigmoid函式是一種激勵函式，其他常見的還有tanh函式，以及其他一些函式。（這些激勵函式後面介紹神經網路模型的時候再展開）

記sigmoid函式為

h(xi)=P(yi=1|xi)=11+exp(−wTxi)

給定一個數據集S，其中有N個樣本，那麼可以寫出目標函式：最小化負對數似然函式：

minwL(w)=−log∏i=1Nh(xi)yi（1−h(xi))1−yi=−∑i=1N[yilogh(xi)+(1−yi)log(1−h(xi))]=−∑i=1N[yi(wTxi)−log(1+exp(wTxi))]

可以看到目標函式本質上是一個求和的形式，為了防止數值本身過大，一般會用平均值形式：

L(w)=−1N∑i=1N[yi(wTxi)−log(1+exp(wTxi))]

如何優化這個目標函式呢？採用標準的梯度下降

演算法，梯度下降可以參考我前面寫的PRML ch5.2-5.3中關於梯度下降的部分，也可以參考一下資料[2]。

∇L(w)=∂L∂w=1N∑i=1N(h(xi)−yi)xiw=w−α⋅∇L(w)

通過梯度下降，我們就可以求出w，然後帶到

P(yi=1|xi)=11+exp(−wTxi)
就可以求出屬於1類的概率，只要概率大於0.5，我們就可以分類為1；當然，如果保留概率本身的數值，我們也可以認為是做了一個迴歸預測，只不過取值範圍是(0,1)。

Softmax Regression

上面介紹的邏輯迴歸是針對二分類問題的，可以看下圖圖2，實線部分就是表示邏輯迴歸的model，多個輸入，一個輸出，

這裡寫圖片描述
圖2

如果有多類，我們可以採用多個二分類，且互相間是獨立的；另外一種情況，類別之間不是獨立的，而是同時在多個類中進行分類，這個時候就需要用softmax了（圖2中，虛線部分又增加了一個輸出，實際上邏輯迴歸是softmax的一個特例）。

當有k個類別時，一個樣本x(i)屬於第j類的概率是:

p(y(i)=j|x(i);w)=e

相關推薦

機器學習方法（五）：邏輯迴歸Logistic Regression，Softmax Regression

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。 技術交流QQ群：433250724，歡迎對演算法、技術、應用感興趣的同學加入。 前面介紹過線性迴歸的基本知識，線性迴歸因為它的簡單，易用，且可以求出閉合解，被廣泛地

機器學習演算法（一）：邏輯迴歸模型（Logistic Regression, LR）

轉自：https://blog.csdn.net/weixin_39910711/article/details/81607386 線性分類器：模型是引數的線性函式，分類平面是（超）平面；非線性分類器：模型分介面可以是曲面或者超平面的組合。 典型的線性分類器有感知機，LDA，邏輯斯特迴歸，SVM

深度學習方法（五）：卷積神經網路CNN經典模型整理Lenet，Alexnet，Googlenet，VGG，Deep Residual Learning

歡迎轉載，轉載請註明：本文出自Bin的專欄blog.csdn.net/xbinworld。  技術交流QQ群：433250724，歡迎對演算法、技術感興趣的同學加入。 關於卷積神經網路CNN，網路和文獻中有非常多的資料，我在工作/研究中也用了好一段時間各種常見的model了，就想著

機器學習筆記（五）：樸素貝葉斯分類器

一、概述 1.1 簡介 樸素貝葉斯（Naive Bayesian）是基於貝葉斯定理和特徵條件獨立假設的分類方法，它通過特徵計算分類的概率，選取概率大的情況進行分類，因此它是基於概率論的一種機器學習分類方法。因為分類的目標是確定的，所以也是屬於監督學習。 Q1：什麼是基於概率論的方

吳恩達機器學習作業（五）：支援向量機

目錄 1）資料預處理 2）Scikit-learn支援向量機 3）決策邊界比較 4）非線性SVM 5）最優超引數 6）垃圾郵件過濾器 在本練習中，我們將使用支援向量機（SVM）來構建垃圾郵件分類器。 我們將從一些簡單的2D資料集開始使用SVM來檢視它們的工作原理。

機器學習筆記（五）：支援向量機（SVM）

支援向量機是目前機器學習的眾多演算法中使用得最為廣泛的演算法之一，本文主要介紹支援向量機的概念與原理。 目錄 什麼是支援向量機 硬間隔線性支援向量機 軟間隔線性支援向量機 非線性支援向量機     一、什麼是支援向量機 &nbs

機器學習筆記（三）：線性迴歸大解剖（原理部分）

進入機器學習，線性迴歸自然就是一道開胃菜。雖說簡單，但對於入門來說還是有些難度的。程式碼部分見下一篇，程式碼對於程式設計師還是能能夠幫助理解那些公式的。 （本文用的一些課件來自唐宇迪的機器學習，大家可以取網易雲課堂看他的視訊，很棒） 1.線性迴歸的一些要點 先說

機器學習筆記（三）：線性迴歸大解剖（程式碼部分）

這裡，讓我手把手教你如何用邏輯迴歸分析資料 根據學生分數預測是否錄取： #必備3個庫 import numpy as np import pandas as pd import matplotlib.pyplot as plt 讓我們讀入資料： import

機器學習筆記（十三）：TensorFlow實戰五（經典卷積神經網路： LeNet -5 ）

1 - 引言 之前我們介紹了一下卷積神經網路的基本結構——卷積層和池化層。通過這兩個結構我們可以任意的構建各種各樣的卷積神經網路模型，不同結構的網路模型也有不同的效果。但是怎樣的神經網路模型具有比較好的效果呢？ 下圖展示了CNN的發展歷程。 經過人們不斷的嘗試，誕生了許多有

機器學習基本知識（二）：邏輯迴歸

一、分類和迴歸         迴歸(Regression)和分類(Classification)是機器學習中的兩大類問題，迴歸問題的輸出是連續的，而分類的輸出則是代表不同類別的有限個離散數值。        

機器學習cs229——（三）區域性加權迴歸、邏輯迴歸、感知器、牛頓方法、廣義線性模型

 首先，我們先來討論一下欠擬合（underfitting）和過擬合（overfitting）問題。比如我們同樣採用線性迴歸來對一組房屋價格和房屋大小的資料進行擬合，第一種情況下我們只選取一個數據特徵(比如房屋大小 x)採用直線進行擬合。第二種情況下選取兩個資料特徵(比如房屋大

安卓開發學習筆記（五）：史上最簡單且華麗地實現Android Stutio當中Webview控制元件https/http協議的方法

一.我們先在XML當中自定義一個webview(Second_layout.xml) 程式碼如下： 1 <?xml version="1.0" encoding="utf-8"?> 2 <LinearLayout xmlns:android="http://schemas.an

機器學習筆記（五）—— 邏輯迴歸

邏輯迴歸演算法是二分類問題中最常用的幾種分類演算法之一，通過變形，也能夠在多分類問題中發揮餘熱。今天我將從向大家揭開這個簡單演算法的神祕面紗！ 一、Sigmoid函式 在迴歸問題中，我們曾經提到，對於資料集

Python3《機器學習實戰》學習筆記（五）：樸素貝葉斯實戰篇之新浪新聞分類

一 前言 拉普拉斯平滑 垃圾郵件過濾 新浪新聞分類 二 樸素貝葉斯改進之拉普拉斯平滑 上篇文章提到過，演算法存在一定的問題，需要進行改進。那麼需要改進的地方在哪裡呢？利用貝葉斯分類器對文件進行分類時，要計算多個概率的乘積以獲得

python3.5《機器學習實戰》學習筆記（五）：決策樹演算法實戰之預測隱形眼鏡型別

一、使用決策樹預測隱形眼鏡型別 在上一篇文章中，我們學習了決策樹演算法，接下來，讓我們通過一個例子講解決策樹如何預測患者需要佩戴的隱形眼鏡型別。 隱形眼鏡資料集是非常著名的資料集，它包含了很多患者眼部狀況的觀察條件以及醫生推薦的隱形眼鏡型別。隱形眼鏡

深度學習/機器學習入門基礎數學知識整理（五）：Jensen不等式簡單理解，共軛函式

Jensen不等式及其延伸 凸函式最基本的不等式性質，又稱Jensen不等式[1] f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) 通俗一點講就是，期望的函式值小於等於函式值的期望。

機器學習系列（2）：logistic迴歸，貝葉斯（bayes）方法

前言：這章主要介紹logistic迴歸和bayes法。兩者都屬分類，前者引入了logistic函式，後者引入了貝葉斯定理，都是比較基礎的數學知識。             但是logistic無需先驗的訓練樣本，後者需要。              貝葉斯法很強大，很多郵件

五、改進神經網路的學習方法（1）：交叉熵代價函式

本部落格主要內容為圖書《神經網路與深度學習》和National Taiwan University (NTU)林軒田老師的《Machine Learning》的學習筆記，因此在全文中對它們多次引用。初出茅廬，學藝不精，有不足之處還望大家不吝賜教。

《機器學習》學習筆記（一）：線性迴歸、邏輯迴歸

    本筆記主要記錄學習《機器學習》的總結體會。如有理解不到位的地方，歡迎大家指出，我會努力改正。     在學習《機器學習》時，我主要是通過Andrew Ng教授在mooc上提供的《Machine Learning》課程，不得不說Andrew Ng老師在講授這門課程時，

斯坦福Andrew Ng---機器學習筆記（二）：Logistic Regression(邏輯迴歸)

內容提要 這篇部落格的主要內容有： - 介紹欠擬合和過擬合的概念 - 從概率的角度解釋上一篇部落格中評價函式J(&#x03B8;)” role=”presentation” style=”position: relative;”>J(θ)J(θ)為什麼用最