看了一下斯坦福大學公開課：機器學習教程（吳恩達教授），記錄了一些筆記，寫出來以便以後有用到。筆記如有誤，還望告知。
本系列其它筆記：
線性迴歸（Linear Regression）
分類和邏輯迴歸（Classification and logistic regression）
廣義線性模型（Generalized Linear Models）

廣義線性模型（Generalized Linear Models）

我們目前學習的兩種不同演算法對p(y|x; $\theta$

1 指數分佈族（The exponential family）

指數分佈族可寫成如下形式：
$p(y;\eta) = b(y)exp(\eta^{T}T(y) - a(\eta)) \\ \eta \rightarrow 分佈的自然引數（natural \quad parameter） \\ T(y) \rightarrow 充分統計量（sufficient \quad statistic） 通常情況下T(y) = y$
對於伯努利分佈
$Ber(\phi) = \left\{\begin{array}{} p(y = 1 \ | \ \phi) = \phi \\ p(y = 0 \ | \ \phi) = 1 - \phi \end{array}\right.$

$p(y \ | \ \phi) = \phi^{(y)}(1-\phi)^{(1-y)} \\ = \exp(\log(\phi^{(y)}(1-\phi)^{(1-y)})) \\ = \exp(\log(\phi^{(y)}) + \log((1-\phi)^{(1-y)})) \\ = \exp(y\log(\phi) + (1-y)\log(1-\phi)) \\ = \exp(y\log(\frac{\phi}{1-\phi}) + \log(1-\phi))$

令 $T(y) = y, b(y) = 1, \eta = \log\frac{\phi}{1-\phi}$，則 $\phi = \frac{1}{1 + e^{-\eta}}，a(\eta) = -\log(1 - \phi) = \log(1+e^{\eta})$

對於高斯分佈
$p(y \ |\ \mu; \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(y - \mu)^2}{2\sigma^2}) \\ = \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(y^2 - 2y\mu + \mu^2)}{2\sigma^2}) \\ = \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{y^2}{2\sigma^2})\exp(\frac{2y\mu - \mu^2}{2\sigma^2})$