牛頓方法，指數分佈族，廣義線性模型

阿新 • • 發佈：2018-12-30

原文連結

http://blog.csdn.net/dream_angel_z/article/details/46288167

本節內容

牛頓方法
指數分佈族
廣義線性模型

之前學習了梯度下降方法，關於梯度下降（gradient descent），這裡簡單的回顧下【參考感知機學習部分提到的梯度下降(gradient descent)】。在最小化損失函式時，採用的就是梯度下降的方法逐步逼近最優解，規則為θ:=θ−η∇θℓ(θ)。其實梯度下降屬於一種優化方法，但梯度下降找到的是區域性最優解。如下圖：

本節首先講解的是牛頓方法（NewTon’s Method）。牛頓方法也是一種優化方法，它考慮的是全域性最優

。接著還會講到指數分佈族和廣義線性模型。下面來詳細介紹。

1.牛頓方法

假設一個函式f(x)=0,我們需要求解此時的x值。如下圖所示：

圖1 f(x0)=0,a1,a2,a3,...逐步接近x0.

在
a1點的時候，f(x)切線的目標函式y=f(a1)+f′(a1)(x–a1). 由於(a2,0)在這條線上，所以我們有0=f(a1)+f′(a1)(a2–a1),so:

a2=a1−f(a1)f′(a1)

同理，在a2點的時候，切線的目標函式y=f(a2)+f′(a2)(x–a2). 由於(a3,0)在這條線上，所以我們有0=f(a2)+f′(a2)(a3–a2

),so:

a3=a2−f(a2)f′(a2)

假設在第n次迭代，有f(an)=0,那麼此時有下面這個遞推公式：

an=an−1−f(an−1)f′(an−1)

其中n>=2.

最後得到的公式也就是牛頓方法的學習規則，為了和梯度下降對比，我們來替換一下變數，公式如下：

θ:=θ−f(θ)f′(θ)

那麼問題來了，怎麼將牛頓方法應用到我們的問題上，最小化損失函式ℓ(θ)(或者是求極大似然估計的極大值)呢？

對於機器學習問題，現在我們優化的目標函式為極大似然估計ℓ，當極大似然估計函式取值最大時，其導數為 0，這樣就和上面函式f取 0 的問題一致了，令f(θ)

=ℓ′(θ)。極大似然函式的求解更新規則是：

θ:=θ−ℓ′(θ)ℓ′′(θ)

對於ℓ，當一階導數為零時，有極值；此時，如果二階導數大於零，則ℓ有極小值，如果二階導數小於零，則有極大值。

上面的式子是當引數θ為實數時的情況，下面我們要求出一般式。當引數為向量時，更新規則變為如下公式：

θ:=θ−H−1∇θℓ(θ)

其中∇θℓ(θ)和之前梯度下降中提到的一樣，是梯度，H是一個n∗n的矩陣，H是函式的二次導數矩陣，被成為Hessian矩陣。其某個元素Hij 計算公式如下：

Hij=∂2ℓ(θ)∂θiθj

和梯度下降相比，牛頓方法的收斂速度更快，通常只要十幾次或者更少就可以收斂，牛頓方法也被稱為二次收斂（quadratic convergence），因為當

相關推薦

指數分佈族和廣義線性模型

本節主要是我看了網易公開課上的Andrew Ng的機器學習公開課第四節所做的筆記加上自己的一些整理，將它發上來供參考，由於水平有限，可能有錯誤。這節視訊中，Andrew Ng主要講了三個方面，分別是牛頓法，指數分佈家族和廣義線性迴歸（GLMS）。本

牛頓方法，指數分佈族，廣義線性模型

原文連結 http://blog.csdn.net/dream_angel_z/article/details/46288167 本節內容牛頓方法指數分佈族廣義線性模型之前學習了梯度下降方法，關於梯度下降（gradient descent），這裡簡

【機器學習-斯坦福】學習筆記4 ——牛頓方法;指數分佈族; 廣義線性模型（GLM）

牛頓方法本次課程大綱： 1、牛頓方法：對Logistic模型進行擬合 2、指數分佈族 3、廣義線性模型（GLM）：聯絡Logistic迴歸和最小二乘模型複習： Logistic迴歸：分類演算法假設給定x以為引數的y=1和y=0的概率：

機器學習-牛頓方法&指數分佈族&GLM

回頭再溫習一下Andrew Ng的機器學習視訊課，順便把沒寫完的筆記寫完。本節內容牛頓方法指數分佈族廣義線性模型之前學習了梯度下降方法，關於梯度下降（gradient descent），這裡簡單的回顧下【參考感知機學習部分提到的梯度下降(gr

機器學習-牛頓方法&指數分布族&GLM

最優解 logs alt cli 機器目標 ner des style 本節內容牛頓方法指數分布族廣義線性模型之前學習了梯度下降方法，關於梯度下降（gradient descent），這裏簡單的回顧下【參考感知機學習部分提到的梯度下降(gradient des

廣義線性模型與指數分佈族的理解

在機器學習領域，很多模型都是屬於廣義線性模型（Generalized Linear Model, GLM），如線性迴歸，邏輯迴歸，Softmax迴歸等。廣義線性模型有3個基本假設: （1）樣本觀測值

機器學習演算法之：指數族分佈與廣義線性模型

> 翻譯總結By joey周琦參考NG的lecture note1 part3 本文將首先簡單介紹指數族分佈，然後介紹一下廣義線性模型（generalized linear model, GLM), 最後解釋了為什麼邏輯迴歸（logistic r

牛頓法.指數分佈族.

《Andrew Ng 機器學習筆記》這一系列文章文章是我再觀看Andrew Ng的Stanford公開課之後自己整理的一些筆記，除了整理出課件中的主要知識點，另外還有一些自己對課件內容的理解。同時也

泊松分佈，指數分佈介紹以及其聯絡與區別

一、泊松分佈日常生活中，大量事件是有固定頻率的。某醫院平均每小時出生3個嬰兒某公司平均每10分鐘接到1個電話某超市平均每天銷售4包xx牌奶粉某網站平均每分鐘有2次訪問它們的特點就是，我們可以預估這些事件的總數，但是沒法知道具體的發生時間。已知平均每小時出生3個嬰兒，請問下一個

分類和邏輯回歸(Classification and logistic regression)，廣義線性模型(Generalized Linear Models) ，生成學習算法(Generative Learning algorithms)

line learning nbsp ear 回歸 logs http zdb del 分類和邏輯回歸(Classification and logistic regression) http://www.cnblogs.com/czdbest/p/5768467.html

【FZU - 1759】Super A^B mod C （數論，快速冪，快速乘，尤拉降冪，指數迴圈節，模板）

題幹： Given A,B,C, You should quickly calculate the result of A^B mod C. (1<=A,C<=1000000000,1<=B<=10^1000000). Input There are mult

機器學習cs229——（三）區域性加權迴歸、邏輯迴歸、感知器、牛頓方法、廣義線性模型

首先，我們先來討論一下欠擬合（underfitting）和過擬合（overfitting）問題。比如我們同樣採用線性迴歸來對一組房屋價格和房屋大小的資料進行擬合，第一種情況下我們只選取一個數據特徵(比如房屋大小 x)採用直線進行擬合。第二種情況下選取兩個資料特徵(比如房屋大

指數分佈族

從標題上看，是“指數分佈族(exponential family)”，不是“指數分佈(exponential distribution)”，這是兩個不同的概念，不要弄混了。指數分佈族在上世紀30年代中期被提出，在概率論和統計學中，它是一些有著特殊形式的概率分佈的集合，包括許多常用的分佈，如正態分佈、

指數分佈族的後驗概率函式都可以是logistic/sigmod形式

logistic regression的魯棒性較強，針對樣本的不同分佈都可以得到一個相當不錯的效果。在Andrew Ng的課程裡面說過，logistic function可以用來做樣本符合指數分佈族的後驗概率函式。三年前的自己怎麼都想不通為什麼，還抱著一本廣義線

各種迴歸全解：傳統迴歸、邏輯迴歸、加權迴歸/核迴歸、嶺迴歸、廣義線性模型/指數族

2、從‘廣義線性模型（GLM：generalized linear models）’和‘指數族’說起：（1）指數族（the exponential family）伯努利分佈：高斯分佈：（2）GLM 3、為什麼sigma函式可以代表概率？設y只取0,1 4、邏輯迴歸

概率函式，概率密度函式，概率分佈函式，高斯分佈

數學基礎複習之概率論（大部分來自百度百科和課本內容） 1.概率函式：（百度說的概率函式一般指概率分佈函式，但課件裡邊提到概率函式時是如下意思↓）離散型隨機變數的分佈的表現形式注：截圖來自同濟大學概率論與數理統計課件 2.概率密度函式：在數學中，連續型隨機變數的概率

資料探勘，篩選，補充的廣義線性模型的---- LASSO 迴歸

Kaggle 網站（https://www.kaggle.com/）成立於 2010 年，是當下最流行的進行資料發掘和預測模型競賽的線上平臺。與 Kaggle 合作的公司可以在網站上提出一個問題或者目標，同時提供相關資料，來自世界各地的電腦科學家、統計學家和建模愛好者，將

高斯分佈和二項分佈屬於指數分佈族的證明

（宣告：本文章內容整理自網際網路以及斯坦福大學機器學習公開課Andrew Ng老師的講義） 1、什麼是指數分佈族 1.1 基本描述指數型分佈是一類重要的分佈族，在統計推斷中，指數型分

斯坦福大學公開課機器學習課程（Andrew Ng）四牛頓方法與廣義線性模型

本次課所講主要內容： 1、牛頓方法：對Logistic模型進行擬合 2、指數分佈族 3、廣義線性模型（GLM）：聯絡Logistic迴歸和最小二乘模型一、牛頓方法牛頓方法與梯度下降法的功能一樣，都是對解空間進行搜尋的方法。假設有函

R 語言之資料分析高階方法「GLM 廣義線性模型」