>  翻譯總結By joey周琦

參考NG的lecture note1 part3
本文將首先簡單介紹指數族分佈，然後介紹一下廣義線性模型（generalized linear model, GLM), 最後解釋了為什麼邏輯迴歸（logistic regression, LR) 是廣義線性模型的一種。

指數族分佈

指數族分佈 (The exponential family distribution),區別於指數分佈（exponential distribution)。在概率統計中，若某概率分佈滿足下式，我們就稱之屬於指數族分佈。

p(y;η)=b(y)exp(ηT

T(y)−a(η))$$p(y;\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta ))$$

其中η$\eta$是natural parameter, T(y)$T(y)$是充分統計量, exp−a(η))${\exp }^{-a(\eta ))}$是起到歸一化作用。 確定了T,a,b$T,a,b$,我們就可以確定某個引數為η$\eta$的指數族分佈.
統計中很多熟悉的概率分佈都是指數族分佈的特定形式，如伯努利分佈，高斯分佈，多項分佈（multionmal), 泊松分佈等。下面介紹其中的伯努利分佈和高斯分佈。

• 伯努利分佈
  p(y;ϕ)=ϕy(1−ϕ)1−y=exp[ylogϕ+(1−y)log(1−ϕ)]=exp[ylogϕ1−ϕ+log(1
  −ϕ)]$$p(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y}=exp[y\log \varphi +(1-y)\log (1-\varphi )]=exp[y\log \frac{\varphi }{1-\varphi }+log(1-\varphi )]$$
  把伯努利分佈可以寫成指數族分佈的形式，且
  T(y)=yη=logϕ1−ϕa(η)=−log(1−ϕ)=log(1+eη)b(y)=1$$T(y)=y\eta =\log \frac{\varphi }{1-\varphi }a(\eta )=-\log (1-\varphi )=\log (1+e^{\eta })b(y)=1$$
  同時我們可以看到ϕ=11+e−η$\varphi =\frac{1}{1+e^{-\eta }}$, 居然是logistic sigmoid的形式，後面在討論LR是廣義線性模型時，也會用到。

高斯分佈

高斯分佈也可以寫為指數族分佈的形式如下：

p(y;

μ)=12π‾‾‾√exp(−12(y−μ)2)=12π‾‾‾√exp(−12y2)exp(μy−12μ2)$$p(y;\mu )=\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}(y-\mu {)}^2)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{y}^2)\exp (\mu y-\frac{1}{2}{\mu }^2)$$

我們假設方差為1，當然不為1的時候也是可以推導的。上述我們就把高斯分佈寫為了指數族分佈的形式，對應的

η=μT(y)=ya(η)=μ2/2=η2/2b(y)=12π‾‾‾√exp(−12y2)$$\eta =\mu T(y)=ya(\eta )={\mu }^2/2={\eta }^2/2b(y)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{y}^2)$$

廣義線性模型 (Generalized linear model, GLM)

本節將講述廣義線性模型的概念，以及LR,最小二乘為何也屬於廣義線性模型。

考慮一個分類或迴歸問題，我們就是想預測某個隨機變數y$y$，y$y$ 是某些特徵(feature)x$x$的函式。為了推導廣義線性模式，我們必須做出如下三個假設

1. p(y|x;θ)$p(y|x;\theta )$ 服從指數族分佈
2. 給了

   相關推薦

   機器學習演算法之：指數族分佈與廣義線性模型

   > 翻譯總結By joey周琦 參考NG的lecture note1 part3 本文將首先簡單介紹指數族分佈，然後介紹一下廣義線性模型（generalized linear model, GLM), 最後解釋了為什麼邏輯迴歸（logistic r

   用Python開始機器學習（3：資料擬合與廣義線性迴歸）

   機器學習中的預測問題通常分為2類：迴歸與分類。簡單的說迴歸就是預測數值，而分類是給資料打上標籤歸類。本文講述如何用Python進行基本的資料擬合，以及如何對擬合結果的誤差進行分析。本例中使用一個2次函式加上隨機的擾動來生成500個點，然後嘗試用1、2、100次方的多項式對該資

   機器學習演算法之：決策樹 (decision trees)

   > By joey周琦 概述 線性模型一般variance小，bias大；而樹模型一般variance大，bias小 決策樹的優點：具有可讀性，分類速度快 一般包含三個步驟： 特徵選擇 決策樹生成 剪枝

   機器學習演算法之： 邏輯迴歸 logistic regression (LR)

   by joey周琦 LR介紹 邏輯迴歸屬於probabilistic discriminative model這一類的分類演算法 probabilistic discriminative mode這類演算法的思路如下： - 直接建模 P(Ck|x)

   機器學習演算法之：分類演算法概述

   By joey周琦 常見的分類演算法大致可以分為三類： 直接給一個discriminant function，直接確定輸入feature x的屬於哪一類。這類演算法有SVM probabilistic discriminative model.該類方法直接給P(C

   機器學習演算法之七：5分鐘上手SVM

   1.案例：承襲Decision Tree的案例資料，同樣用身高和體重來界定胖瘦。如下文字檔(7.SVM.txt)，三個欄位各代表身高(m)、體重(kg)與胖瘦(thin/fat)。 2.問題：現在

   機器學習演算法之二：5分鐘上手K-Means

   1.案例：承襲KNN，這個資料依舊是用打鬥次數和接吻次數來界定電影型別，接吻多的是Romance型別的，而打鬥多的是動作電影。 2.問題：現在有一部名字未知的電影，打鬥次數為18次，接吻次數為90

   機器學習演算法之KNN

   1、基本思想 物以類聚、人以群分，一個例項與它周圍的例項屬於同一類的概率較大。 2、演算法 給定一個訓練資料集，對新輸入的例項，在訓練資料集中找到與該例項最鄰近的k個例項，這k個例項的多數屬於某個類，就

   機器學習演算法之正則化

   >By joey周琦 正則化 假設目標函式為 J J, 比如 J J可以是對數似然函式的負數形式，特徵 i i的係數為 wi w_i, 係數向量 w=[w1,...,

   機器學習演算法之CART（分類和迴歸樹）

   CART演算法介紹： 分類和迴歸樹（CART）是應用廣泛的決策樹學習方法。CART同樣由特徵選擇，樹的生成和減枝組成，既可以用於分類也可以用於迴歸。CART的生成就是遞迴的構建二叉決策樹的過程。對迴歸樹用平方誤差最小化（RMSE），對分類樹用基尼指數最小化準則

   機器學習演算法之樸素貝葉斯（Naive Bayes）--第二篇

   引言 這篇文章主要介紹將樸素貝葉斯模型應用到文字分類任務的技巧和方法。 詞袋模型(The Bag of Words Model) 對於機器學習演算法來說，特徵的選擇是一個很重要的過程。那麼如何從文字訓練集中選出好的特徵呢？在自然語言處理中，一個常見

   機器學習（十）——指數族（The exponential family）

   為了達到廣義線性模型，我們首先定義指數族分佈。我們說如果一個分佈是指數族分佈，那麼它可以用以下形式表示：這裡，η被稱為分佈的自然引數（也稱為規範引數）；T(y)是充分統計量（對於我們所考慮的分佈，通常情況下有T(y)=y）；a(η)被稱為對數劃分函式。這一項本質上是起到了正則

   機器學習演算法 之邏輯迴歸以及python實現

   下面分為兩個部分： 1. 邏輯迴歸的相關原理說明 2. 通過python程式碼來實現一個梯度下降求解邏輯迴歸過程 邏輯迴歸(Logistic Regression) 首先需要說明，邏輯迴歸屬於分類演算法。分類問題和迴歸問題的區別在於，分類問題的輸出是離散

   機器學習演算法二：詳解Boosting系列演算法一Adaboost

   本文主要介紹boosting演算法得基本原理，以及的三種典型演算法原理：adaboost，GBM（Gradient bossting machine），XGBoost。 Boosting方法原理 boosting演算法是一類將弱學習器提升為強學習器的整合學習

   機器學習演算法之隨機森林

   演算法原理整合學習（ensemble leaning）通過構建並結合多個學習器來完成學習任務，通過將多個學習器結合，常常可以獲得比單一學習器顯著優越的效果和泛化能力。整合學習中的基學習器可以是同質的，也可以是異質的。根據個體學習器的生成方式，目前的整合學習方法大致可分為三大類：一類是Bagging，

   【機器學習演算法】：提升樹（Boosting tree）

   提升樹是以分類樹和迴歸樹為基本分類器的提升方法。提升樹被認為是統計學習中效能最好的方法之一。Boosting方法其實本質上採用的是加法模型（基函式的線性組合）與前向分佈演算法。以決策樹為基函式的Boosting方法被稱為提升樹（Boosting tree）。對分

   機器學習演算法之隨機森林（1）pyspark.mllib中的RF

   spark的persist操作可以使得資料常駐記憶體，而機器學習最主要的工作——迭代，需要頻繁地存取資料，這樣相比hadoop來說，天然地有利於機器學習。 ———- 單機版。 至於叢集的搭建——現在手頭最多兩臺電腦，後面再折騰。 1、安裝pysaprk

   機器學習演算法之分類

   機器學習分類演算法：3.1. Logistic 迴歸 (對數機率迴歸)Logistic Regression不光可以做二元分類，也可以解決多元分類問題。3.2. 最小二乘迴歸（Ordinary Least Squares Regression）3.3. 貝葉斯分類- 樸素貝葉斯（Navie Bayesian

   機器學習演算法之SVM的多分類

   一、SVM可以直接進行多分類嗎 SVM本身是對付二分類問題的，所以在處理多分類的時候需要進行必要的改造。 同樣是二分類的情況，logistic迴歸可以直接拓展為softmax多分類。但是SVM如果直接在目標函式上進行修改的話，就是將多個分類面的引數求解合

   機器學習演算法之樸素貝葉斯（Naive Bayes）--第一篇

   引言 先前曾經看了一篇文章，一個老外程式設計師寫了一些很牛的Shell指令碼，包括晚下班自動給老婆發簡訊啊，自動衝Coffee啊，自動掃描一個DBA發來的郵件啊， 等等。於是我也想用自己所學來做一點有趣的事情。我的想法如下： 首先我寫個scrapy指令碼來