廣義線性模型 - Andrew Ng機器學習公開課筆記1.6
在分類問題中我們如果：
他們都是廣義線性模型中的一個樣例，在理解廣義線性模型之前須要先理解指數分布族。
指數分布族（The Exponential Family）
假設一個分布能夠用例如以下公式表達，那麽這個分布就屬於指數分布族：
公式中y是隨機變量；h(x)稱為基礎度量值（base measure）；
η稱為分布的自然參數（natural parameter），也稱為標準參數（canonical parameter）；
T(y)稱為充分統計量，通常T(y)=y；
a(η)稱為對數切割函數（log partition function）；
本質上是一個歸一化常數。確保
概率和為1。
當T(y)被固定時，a(η)、b(y)就定義了一個以η為參數的一個指數分布。我們變化η就得到這個分布的不同分布。
伯努利分布屬於指數分布族。伯努利分布均值為φ，寫為Bernoulli(φ)。是一個二值分布，y ∈ {0, 1}。所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 ? φ。當我們變化φ就得到了不同均值的伯努利分布。伯努利分布表達式轉化為指數分布族表達式步驟例如以下：
當中，
再舉一個高斯分布的樣例。高斯分布也屬於指數分布族。由高斯分布能夠推導出線性模型（推導過程將在EM算法中解說）。由星型模型的如果函數能夠得知，高斯分布的方差
與如果函數無關，因而為了計算簡便，我們設方差
=1。
高斯分布轉化為指數分布族形式的推導步驟例如以下：
當中
更多分部也屬於指數分布族。比如：伯努利分布（Bernoulli）、高斯分布（Gaussian）、多項式分布（Multinomial）、泊松分布（Poisson）、伽馬分布（Gamma）、指數分布（Exponential）、β分布、Dirichlet分布、Wishart分布。
構建廣義線性模型（Constructing GLMs）
在分類和回歸問題中，我們通過構建一個關於x的模型來預測y。這樣的問題能夠利用廣義線性模型（Generalized linear models，GMLs）來解決。構建廣義線性模型我們基於三個如果。也能夠理解為我們基於三個設計決策。這三個決策幫助我們構建廣義線性模型：
-
,如果
滿足一個以為參數的指數分布。比如，給定了輸入x和參數θ。那麽能夠構建y關於的表達式。
-
給定x。我們的目標是要確定T(y)。即
。大多數情況下T(y)=y，那麽我們實際上要確定的是
。即給定x，如果我們的目標函數是
。（在邏輯回歸中期望值是。因此目標函數h是φ。在線性回歸中期望值是μ，而高斯分布中
，因此線性回歸中目標函數
）。 -
如果自然參數η和x是線性相關，即如果：
如果有一個預測問題：基於特征商店促銷活動、近期的廣告、天氣、星期幾等特征x。來預測商店在任一小時內的顧客數目y。
依據概率知識可知，x、y符合泊松分布。泊松分布屬於指數分布族。我們能夠利用上面的3個如果。構建一個廣義線性模型來進行構建預測模型。
GLMs構建最小二模型
線性回歸中的優化目標y（損失函數）是由最小二乘法得到的。能夠使用廣義線性模型構建最小二乘模型。三個如果：
-
最小二乘法得到的目標變量y是一個連續值，我們如果給定x下y的分布符合高斯分布。
如果1中的ExponentialFamily(η)就是高斯分布。
-
在高斯分布中
。目標函數
-
如果：
推導步驟例如以下：
第一步變換依據如果2：
第二步變換依據y|x; θ ∼ N(μ, σ2)，高斯分布的期望值是μ
第三步依據如果1：高斯分布中
第四步依據如果3：
如今已經使用廣義線性模型構建出了最小二乘模型。接下來的工作就是利用梯度下降、牛頓方法來求解θ。梯度下降、牛頓方法的內容請參考之前的講義。
GLMs構建邏輯回歸
邏輯回歸能夠用於解決二分類問題，而分類問題目標函數y是二值的離散值，
。依據統計知識。二分類問題能夠選擇伯努利分布來構建模型。
在伯努利分布的指數分布族表達式中我們已知：
，從而得到
。
構建廣義線性模型的三個如果：
-
如果符合伯努利分布，
-
。伯努利分布中
-
推導步驟例如以下：
同最小二乘模型一樣。接下來的工作就由梯度下降或牛頓方法來完畢。
註意一下上面的推到結果
，回顧一下，在邏輯回歸中。我們選用Sigmoid函數
。
之所以在邏輯回歸中選用這個g(z)作為Sigmoid函數是由一套理論作支持的。這個理論便是廣義線性模型。
廣義線性模型 - Andrew Ng機器學習公開課筆記1.6