（宣告：本文章內容整理自網際網路以及斯坦福大學機器學習公開課Andrew Ng老師的講義）

1、什麼是指數分佈族

1.1 基本描述

        指數型分佈是一類重要的分佈族，在統計推斷中，指數型分佈族佔有重要的地位，在各領域應用廣泛。許多的統計分佈都是指數型分佈，彼此之間具有一定的共性，在研究其統計性質與分佈特徵時，利用指數型分佈族的特徵，可以將這一族分佈的特徵分別表示出。在廣義線性模型的統計推斷中，常假設樣本服從指數型分佈。

1.2 定義

       指數分佈族可以寫成如下的形式：                                                      
        在這裡，η叫做分佈的自然引數，a(η)叫做累積量母函式（又稱log partition function）。exp(-α(η))這個量是分佈p(y;η)的歸一化常數，用來確保分佈p(y;η)對y的積分為1。T(y)稱為充分統計量（sufficient statistic）,對於我們考慮的分佈，一般認為T(y)=y。 一組確定的T，a和b定義了這樣一個以η為引數的分佈族。對於不同的η，我們可以得到指數分佈族中不同的分佈。

1.3 數學特徵

        對於單引數指數型分佈的隨機變數，記，分別表示關於η的函式a對η求一二階導數，則有以下結論：

1. 指數型分佈隨機變數的期望
2. 指數型分佈隨機變數的方差
   
   

2、高斯分佈屬於指數分佈族的證明

        對於高斯分佈，當方差已知時，（方差對模型的引數沒有影響，所以我們可以任意地選一個方差），在這裡我們令，則其分佈可以表示為：                                        
        為了將其向指數分佈族靠攏，我們進行如下表示：                                          
        這顯示了高斯分佈可以被寫成是指數分佈族的形式，所以高斯分佈屬於指數分佈族。
        進一步地，我們用指數分佈族的性質去驗證一下，有：                                         

                                          
        剛好是高斯分佈的期望和方差，所以驗證成功。

3、二項分佈屬於指數分佈族的證明

        對於二項分佈（伯努利分佈），每一個取不同均值的引數Φ，就會唯一確定一個y屬於{0,1}之間的分佈。所以可以表示為                                    
        故二項分佈的分佈函式只以Φ作為引數，統一這樣表示二項分佈：                                                
        這樣，自然引數為：，翻轉一下，有：         為了進一步將二項分佈向指數分佈族靠攏，我們可以進行如下表示：                                                  
        這顯示了二項分佈可以被寫成是指數分佈族的形式，所以二項分佈屬於指數分佈族。         進一步地，我們用指數分佈族的性質去驗證一下，有：                                        
                                       
        剛好是二項分佈的期望與方差，故滿足性質。