本節主要是我看了網易公開課上的Andrew Ng的機器學習公開課第四節所做的筆記加上自己的一些整理，將它發上來供參考，由於水平有限，可能有錯誤。

這節視訊中，Andrew Ng主要講了三個方面，分別是牛頓法，指數分佈家族和廣義線性迴歸（GLMS）。

本節介紹的指數分佈函式主要是為廣義線性迴歸所服務的。廣義線性迴歸對迴歸值是隨機變數（這主要是因為誤差導致實際值y是隨機變數）的情況下的建模提供了一種可行的建模方式。我認為，廣義線性模型一個重要的應用就是對迴歸值是隨機變數情況對迴歸值進行建模。

一 牛頓法

牛頓法與梯度法一樣，是一種常見的迭代優化方法。牛頓法在接近收斂值時呈指數收斂，表現性質很優良，但是在遠離收斂值的地方則收斂慢甚至不收斂。在二維矩陣下用Hessian矩陣的逆與梯度的乘積做變化步長。關於Hessian矩陣的理解，網上有很多，它也不是本節重點，這裡不贅述了。

二 指數分佈

指數分佈家族是定義的一組分散式，伯努利分佈及高斯分佈等分佈都可以看做指數分佈的特殊形式。指數分佈的公式如下：

p(y;η)=b(y)exp(ηTT(y)−a(η))；
p(y;η)表示y在η下概率，但是它不是條件概率，因為η不是隨機變數。而對於ηT 我認為是轉置的意思。上式還表示為：
p(y;η)=1Z(η)b(y)exp(ηTT(y)),其中a(η)=logZ(η)

Z(η)=∫yb(y)exp[ηTT(y)]dy,（在y可以取到的空間內所有求積分，符號原因不好表示） 表示歸一化項。 T(y) 表示的是未知分佈P的引數y的充分統計量。（統計量是樣本資料的函式，充分統計量的意思是當且僅當T

• 指數家族是唯一的充分統計量是有限大小的分佈家族
• 指數家族是唯一存在共軛先驗的分佈家族
• 指數家族為認為選定限制下作的假設最少的分佈家族
• 指數家族是廣義線性模型的核心內容
• 指數家族是變分推斷（variational inference）的核心內容

下面，帶入兩個具體的例子（伯努利分佈和高斯分佈）

1.伯努利分佈

首先，我們假設p(y=1;ϕ)=ϕ;p(y=0;ϕ)=1−ϕ，這個就是定義。

p

(y;ϕ)=ϕy(1−ϕ)(1−y)=exp[ylnϕ+(1−y)ln(1−ϕ)]=exp[ylnϕ1−ϕ+ln(1−ϕ)]其中從定義來講y=0||y=1（因為伯努利分布）

那麼我們做下列轉化

令η=lnϕ(1−ϕ),ϕ=11+e−η自然引數和均值引數之間的轉化正好滿足sigmoid函式b(y)=1T(y)=ya(η)=−ln(1−ϕ)=−ln11+eη

最後，可以得到例子是：

p(y;η)=exp[ηy−ln11+eη]

2.高斯分佈

由於方差對我們最終選擇的θ和hθ(x)無影響，因此我們可以令方差為1。(此處是在之前最小二乘法與極大似然的推導中得證方差與結果無影響)

p(y;μ)=1

相關推薦

指數分佈族 和 廣義線性模型

本節主要是我看了網易公開課上的Andrew Ng的機器學習公開課第四節所做的筆記加上自己的一些整理，將它發上來供參考，由於水平有限，可能有錯誤。 這節視訊中，Andrew Ng主要講了三個方面，分別是牛頓法，指數分佈家族和廣義線性迴歸（GLMS）。 本

牛頓方法，指數分佈族，廣義線性模型

原文連結 http://blog.csdn.net/dream_angel_z/article/details/46288167 本節內容 牛頓方法指數分佈族廣義線性模型 之前學習了梯度下降方法，關於梯度下降（gradient descent），這裡簡

廣義線性模型與指數分佈族的理解

在機器學習領域，很多模型都是屬於廣義線性模型（Generalized Linear Model, GLM），如線性迴歸，邏輯迴歸，Softmax迴歸等。 廣義線性模型有3個基本假設: （1） 樣本觀測值

【機器學習-斯坦福】學習筆記4 ——牛頓方法;指數分佈族; 廣義線性模型（GLM）

牛頓方法 本次課程大綱： 1、  牛頓方法：對Logistic模型進行擬合 2、 指數分佈族 3、  廣義線性模型（GLM）：聯絡Logistic迴歸和最小二乘模型 複習： Logistic迴歸：分類演算法 假設給定x以為引數的y=1和y=0的概率：

機器學習演算法之：指數族分佈與廣義線性模型

> 翻譯總結By joey周琦 參考NG的lecture note1 part3 本文將首先簡單介紹指數族分佈，然後介紹一下廣義線性模型（generalized linear model, GLM), 最後解釋了為什麼邏輯迴歸（logistic r

各種迴歸全解：傳統迴歸、邏輯迴歸、加權迴歸/核迴歸、嶺迴歸、廣義線性模型/指數族

2、從‘廣義線性模型（GLM：generalized linear models）’和‘指數族’說起： （1）指數族（the exponential family） 伯努利分佈： 高斯分佈： （2）GLM 3、為什麼sigma函式可以代表概率？ 設y只取0,1 4、邏輯迴歸

分類和邏輯回歸(Classification and logistic regression)，廣義線性模型(Generalized Linear Models) ，生成學習算法(Generative Learning algorithms)

line learning nbsp ear 回歸 logs http zdb del 分類和邏輯回歸(Classification and logistic regression) http://www.cnblogs.com/czdbest/p/5768467.html

高斯分佈和二項分佈屬於指數分佈族的證明

（宣告：本文章內容整理自網際網路以及斯坦福大學機器學習公開課Andrew Ng老師的講義） 1、什麼是指數分佈族 1.1 基本描述         指數型分佈是一類重要的分佈族，在統計推斷中，指數型分

廣義線性模型2

nor alt 能夠 ever ... mat rcv shape dwt 1.1.2 Ridge Regression（嶺回歸） 嶺回歸和普通最小二乘法回歸的一個重要差別是前者對系數模的平方進行了限制。例如以下所看到的： In [1]: from sklearn im

廣義線性模型 - Andrew Ng機器學習公開課筆記1.6

sans luci art 能夠 tro ron 便是 import grand 在分類問題中我們如果： 他們都是廣義線性模型中的一個樣例，在理解廣義線性模型之前須要先理解指數分布族。 指數分

廣義線性模型的理解

選擇 現象 one 世界 logistic 是什麽 times 自己 取值 世界中（大部分的）各種現象背後，都存在著可以解釋這些現象的規律。機器學習要做的，就是通過訓練模型，發現數據背後隱藏的規律，從而對新的數據做出合理的判斷。 雖然機器學習能夠自動地幫我們完成很多事情（

R語言學習筆記（十一）：廣義線性模型

學習筆記 Education 5.0 1.3 style only 可能性 div erro #Logistic 回歸 install.packages("AER") data(Affairs,package="AER") summary(Affairs) a

R語言-廣義線性模型

類別 模型 判斷 table height 函數 on() 手動 res 使用場景:結果變量是類別型,二值變量和多分類變量,不滿足正態分布 　　　　 結果變量是計數型,並且他們的均值和方差都是相關的 解決方法:使用廣義線性模型,它包含費正太因變量的分析 1.Logisti

線性迴歸_邏輯迴歸_廣義線性模型_斯坦福CS229_學習筆記

前言 之前學習過視訊版本的吳恩達老師CS229的機器學習課程，但是覺得並不能理解很好。現在結合講義，對於之前的內容再次進行梳理，仍然記錄下自己的思考。圖片來源於網路或者講義。話不多說，進入正題吧。 Part I Regression and Linear Regression

深度學習基礎--loss與啟用函式--廣義線性模型與各種各樣的啟用函式(配圖)

廣義線性模型是怎被應用在深度學習中?   深度學習從統計學角度，可以看做遞迴的廣義線性模型。廣義線性模型相對於經典的線性模型(y=wx+b)，核心在於引入了連線函式g(.)，形式變為：y=g(wx+b)。   深度學習時遞迴的廣義線性模型，神經元的啟用函式，即為廣義線性模型的連結函式

廣義線性模型（Generalized Linear Models）

看了一下斯坦福大學公開課：機器學習教程（吳恩達教授），記錄了一些筆記，寫出來以便以後有用到。筆記如有誤，還望告知。 本系列其它筆記： 線性迴歸（Linear Regression） 分類和邏輯迴歸（Classification and logistic regression） 廣義線性模

python 機器學習 sklearn 廣義線性模型

廣義的線性模型是最最常用和我個人認為最重要的 最小二乘 class sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=

機器學習cs229——（三）區域性加權迴歸、邏輯迴歸、感知器、牛頓方法、廣義線性模型

 首先，我們先來討論一下欠擬合（underfitting）和過擬合（overfitting）問題。比如我們同樣採用線性迴歸來對一組房屋價格和房屋大小的資料進行擬合，第一種情況下我們只選取一個數據特徵(比如房屋大小 x)採用直線進行擬合。第二種情況下選取兩個資料特徵(比如房屋大

資料學習(2)·廣義線性模型

作者課堂筆記，有問題請聯絡[email protected] 目錄 指數族，廣義線性模型 1 指數族 如果一種分佈可以寫成如下形式，那麼這種分佈屬於指數族： p(y;η)=b(y)e

ML—廣義線性模型導論

Andrew Zhang Tianjin Key Laboratory of Cognitive Computing and Application Tianjin University Nov 3, 2015 本文主要講解我對GLM的理解，並將GLM推廣到邏輯迴歸，線性迴歸和