ML—廣義線性模型導論

Andrew Zhang
Tianjin Key Laboratory of Cognitive Computing and Application
Tianjin University
Nov 3, 2015

本文主要講解我對GLM的理解，並將GLM推廣到邏輯迴歸，線性迴歸和Softmax迴歸理論中。

一、指數分佈族(ExponentialFamily)
如果一個分佈密度函式可以寫成如下的形式
$p(y,\eta)=b(y)e^{\eta^TT(y)-a(\eta)} \tag{1-1}$

其中，

η $\eta$ 被稱為自然引數，標準引數或者規範引數；

T(y) $T(y)$ 被稱為充分統計量；而

a(η) $a(\eta)$ 一般被稱為對數分函式。

T,a,b $T,a,b$ 確定了引數為

η $\eta$ 的一種分佈函式。

二、GLM的三個假設
1、線性模型的假設
線性模型有如下三條假設
$y=x\beta+\epsilon$
$E(\epsilon)=0$
cov(ϵ,ϵ)=σ2In∗n

$cov(\epsilon,\epsilon)=\sigma^2I_{n*n}$

(2) $\tag{2}$
2、廣義線性模型的三條假設
廣義線性模型需要滿足y關於x的條件概率和模型設定三個假設：
假設一：

y|x;θ $y|x;\theta$ ~

ExponentialFamily(η) $ExponentialFamily(\eta)$ 對於給定的

x $x$ 和

θ $\theta$ ,

y $y$ 的分佈服從引數為

η $\eta$ 的指數分佈族
假設二：對於給定的

x $x$ ,目標是預測給定

x $x$ 下

T(y) $T(y)$ 的期望
假設三：自然引數

η $\eta$ 和輸入

x $x$ 是線性關係：

η=θTx $\eta=\theta^Tx$ (如果

η $\eta$ 是向量，那麼

ηi=θTix $\eta_i=\theta_i^Tx$ )
3、對GLM三個假設的說明
3.1 假設1的解釋
假設一講的是廣義線性模型的核心。廣義線性模型廣體現在

y $y$ 服從的是一個指數分佈族。簡單來說，就是對於所有的樣本

y $y$ 服從的是同一個分佈，只不過不同樣本之間這個分佈的引數不同。例如若所有樣本的

y $y$ 都是伯努利分佈，則不同的樣本分別對應與

x $x$ 相關的

ϕ $\phi$ (邏輯迴歸)，若若所有樣本的

y $y$ 都是正態分佈，則不同的樣本分別對應與

x $x$ 相關的

μ $\mu$ (最小二乘)。。。。。
3.2 假設2的解釋
主要是說GLM的輸出。輸出的

hθ(x)=E[T(y)|x] $h_\theta(x)=E[T(y)|x]$ 。
3.3 假設3的解釋
對於假設3，意味著在任何出現

η $\eta$ 的地方，我們都需要用

η=θTx $\eta=\theta^Tx$ 或者

ηi=θTix $\eta_i=\theta_i^Tx$ 替換，以此轉化為關於輸入

x $x$ 的線性關係。

三、GLM引數求解
對於GLM模型引數 $\theta$ 的求解，一般都要利用極大似然估計，求解出使得采樣樣本取得最大概率的引數 $\theta$ 。
對於訓練樣本 $(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$ ，似然函式為
$L(\theta)=\prod_{i=1}^m{p(y_i|x_i;\theta)} \tag{3}$
後面只需要對公式(3)進行求解，得到使似然函式達到極大值時對應的 $\theta$ 即可。

四、GLM—邏輯迴歸
在邏輯迴歸中，假設類別標籤服從伯努利分佈 $Bernouli(\phi)$ ，即 $p(y=1;\phi)=\phi,p(y=0;\phi)=1-\phi$ ,在這裡 $\phi$ 與 $x$ 有關。也就是說不同的輸入 $x$ 可以得到不同的伯努利分佈，這就是邏輯迴歸的伯努利分佈族。
首先我們來推導一下，證明伯努利分佈~ $Bernouli(\phi)$ 滿足指數分佈族形式(1)。
$p(y;\phi)=\phi^y(1-\phi)^{1-y}$
　　　　 $=e^{ylog\phi+(1-y)log(1-\phi)}$
　　　　 $=e^{ylog\frac{\phi}{1-\phi}+log(1-\phi)}$
　　　　 $\tag{4-1}$
對比式(1)可得
$\eta=log\frac{\phi}{1-\phi}$
$T(y)=y$
$a(\eta)=log(1-\phi)$
b(y

ML—廣義線性模型導論

Andrew Zhang Tianjin Key Laboratory of Cognitive Computing and Application Tianjin University Nov 3, 2015 本文主要講解我對GLM的理解，並將GLM推廣到邏輯迴歸，線性迴歸和

廣義線性模型2

nor alt 能夠 ever ... mat rcv shape dwt 1.1.2 Ridge Regression（嶺回歸）嶺回歸和普通最小二乘法回歸的一個重要差別是前者對系數模的平方進行了限制。例如以下所看到的： In [1]: from sklearn im

廣義線性模型 - Andrew Ng機器學習公開課筆記1.6

sans luci art 能夠 tro ron 便是 import grand 在分類問題中我們如果：他們都是廣義線性模型中的一個樣例，在理解廣義線性模型之前須要先理解指數分布族。指數分

廣義線性模型的理解

選擇現象 one 世界 logistic 是什麽 times 自己取值世界中（大部分的）各種現象背後，都存在著可以解釋這些現象的規律。機器學習要做的，就是通過訓練模型，發現數據背後隱藏的規律，從而對新的數據做出合理的判斷。雖然機器學習能夠自動地幫我們完成很多事情（

分類和邏輯回歸(Classification and logistic regression)，廣義線性模型(Generalized Linear Models) ，生成學習算法(Generative Learning algorithms)

line learning nbsp ear 回歸 logs http zdb del 分類和邏輯回歸(Classification and logistic regression) http://www.cnblogs.com/czdbest/p/5768467.html

ML—廣義線性模型導論

ML—廣義線性模型導論

廣義線性模型2

廣義線性模型 - Andrew Ng機器學習公開課筆記1.6

廣義線性模型的理解

分類和邏輯回歸(Classification and logistic regression)，廣義線性模型(Generalized Linear Models) ，生成學習算法(Generative Learning algorithms)

R語言學習筆記（十一）：廣義線性模型

R語言-廣義線性模型

線性迴歸_邏輯迴歸_廣義線性模型_斯坦福CS229_學習筆記

深度學習基礎--loss與啟用函式--廣義線性模型與各種各樣的啟用函式(配圖)

廣義線性模型（Generalized Linear Models）

廣義線性模型與指數分佈族的理解

python 機器學習 sklearn 廣義線性模型

機器學習cs229——（三）區域性加權迴歸、邏輯迴歸、感知器、牛頓方法、廣義線性模型

資料學習(2)·廣義線性模型

廣義線性模型定價模組（PYTHON3.5+)

線性模型選擇與廣義線性模型

第3章-從線性概率模型到廣義線性模型(2)

牛頓方法，指數分佈族，廣義線性模型

機器學習筆記五：廣義線性模型（GLM）

從線性模型到廣義線性模型(2)——引數估計、假設檢驗

ML—廣義線性模型導論

相關推薦