1. 程式人生 > >概率分佈之Beta分佈與Dirichlet分佈

概率分佈之Beta分佈與Dirichlet分佈

Beta分佈與Dirichlet分佈的定義域均為[0,1],在實際使用中,通常將兩者作為概率的分佈,Beta分佈描述的是單變數分佈,Dirichlet分佈描述的是多變數分佈,因此,Beta分佈可作為二項分佈的先驗概率,Dirichlet分佈可作為多項分佈的先驗概率。這兩個分佈都用到了Gamma函式,所以,首先了解一下Gamma函式。

1. Gamma函式

  首先看其表示式
  Γ(x)=0tx1etdt
這樣的表達看懂都很難,更不知道那些數學家怎麼想出來的。據LDA數學八卦中記錄,在Gamma函式的發現中做出主要貢獻的數學家有哥德巴赫、丹尼爾·伯努利(不是伯努利分佈的那個伯努利),最終由尤拉解決這個問題(這些大數學家互相都認識的啊)。
  Gamma函式是對階乘在實數領域的擴充套件,也就是說,Γ

(x+1)=xΓ(x),下面用分部積分的方法進行推導,如不關心,可以略過。
  

Γ(x)=0tx1etdt=1x0etdtx=1x(ettx|00txdet)=1x0txetdt=1xΓ(x+1)
據PRML第71頁(2.14)式,Gamma函式在Beta分佈和Dirichlet分佈中起到了歸一化的作用。

2. Beta分佈

  Beta分佈描述的是定義在區間[0,1]上隨機變數的概率分佈,由兩個引數α>0β>0決定,通常記為μBeta(μ|α,β),其概率密度函式如下
  P(μ|α,β)=Γ(α+β)Γ(α)Γ(β)μα1(1μ)β1=

1B(α,β)μα1(1μ)β1
其中,Γ()就是Gamma函式,B(α,β)為Beta函式,並且
  B(α,β)=Γ(α)Γ(β)Γ(α+β)
Beta分佈的概率密度函式曲線如下圖:(摘自wikipedia Beta distribution)


Beta distribution

由於Beta分佈定義在區間[0,1]上,所以適合作為概率的分佈。第一段提到Beta分佈可作為二項分佈的先驗概率,那就需要從二項分佈的定義來理解Beta分佈的形式。已知二項分佈的形式為:
  p(x=k|n,μ)=Cknμk(1μ)nk
μ進行後驗概率估計時,其似然項是μ(1μ)的指數形式,如果先驗概率也選擇為μ
(1μ)的指數形式,那麼後驗概率就仍然保持這種指數形式,這種性質叫做共軛分佈,我們會在後面的文章中對共軛分佈進行介紹。
因此,Beta分佈就是μ(1μ)的指數形式,其中Beta函式為歸一化係數。Beta分佈的均值和方差分別為
  E[μ]=αα+β
  var(μ)=αβ(α+β)2(α+β+1)

3. Dirichlet分佈

  Dirichlet分佈是關於定義在區間[0,1]上的多個隨機變數的聯合概率分佈,假設有d個變數μi,並且di=1μi=1,記μ=(μ1,μ2,...,μd),每個<