淺談先驗分佈和後驗分佈
【前言】
上文提到貝葉斯定理是先驗分佈和後驗分佈轉換的橋樑，貝葉斯學派計算引數後驗分佈的難點在於如何選擇引數的先驗分佈，本文通過二項式分佈的例子來形象的表達如何選擇先驗分佈和計算後驗分佈，並闡述了先驗分佈和後驗分佈是如何轉換的，最後對本文進行總結。
共軛先驗分佈
定義
當先驗分佈和後驗分佈相同時，先驗分佈和後驗分佈為共軛先驗。
條件
為了滿足共軛先驗這一條件，先驗分佈和似然函式分佈應相同。
目的
先驗分佈和後驗分佈按照人的直觀來說應是相同的，且可以形成一個先驗鏈，即隨著新觀測資料的增加，當前引數的後驗分佈成為前驗分佈，新觀測資料下的引數分佈為後驗分佈。
先驗分佈和後驗分佈的轉化過程
連續取樣新的觀測資料時，當前引數的概率分佈為先驗分佈，計算新採集的資料（可能是一個或一組）的似然函式，計算先驗分佈和似然函式的乘積，並對該乘積結果進行歸一化，得到引數的後驗分佈，若又有新的觀測資料時，則重複以上過程，更新引數的後驗分佈。
先驗分佈和後驗分佈關係的應用舉例
【例】用一個二值隨機變數x表示拋硬幣的結果，1表示正面，0表示反面。假設該硬幣的正反兩面的概率不相同，且正面概率為引數u，若拋擲N次，正面向上的次數為m，反面向上的此時為l。求（1）引數u的後驗概率分佈，（2）若連續拋擲硬幣，求先驗分佈和後驗分佈引數的關係，（3）正面向上的概率
解：（1）多次拋硬幣符合二項式分佈，正面向上次數為m的概率為：
為了滿足共軛先驗的條件，引數u的先驗分佈也應與似然函式的分佈相同。即選擇引數u的先驗分佈為beta分佈，如下：
等式右邊的係數部分是為了滿足先驗分佈的標準化，即：
引數u的先驗分佈的期望：
後驗分佈等於前驗分佈和似然函式的乘積，並對該結果進行標準化，得到該引數的後驗分佈。
後驗分佈形式：
標準化後的結果：
（2）連續拋擲硬幣時，當前的引數分佈為先驗分佈，與新取樣資料的似然函式進行乘積，再對該結果進行標準化。容易知道，後驗分佈的形式保持不變，指數發生變化。
比較資料集似然函式的二項式分佈和beta分佈，可知a表示正面向上的次數，b表示反面向上的次數，由（1）的後驗概率分佈可知，當新資料的拋擲結果為m次正面向上，l次反面向上，那麼後驗概率分佈的指數表示m+a次正面向上，l+b次反面向上，以此遞推。
若a=1，b=1，引數u的先驗分佈為：
當觀測新資料為1次正面向上(m=1)，2次反面向上(l=2)，則後驗分佈的指數表示2次正面向上，3次反面向上。
後驗分佈如下圖：
（3）根據貝葉斯的求和準則與求積準則，引數u的分佈採用後驗分佈，得：
參考先驗分佈的引數u的期望，可得後驗分佈：
總結
後驗分佈等於先驗分佈與似然函式乘積的標準化，共軛先驗的目的在於使先驗分佈和後驗分佈保持同一形式，形成先驗鏈，當有新的觀測資料時，當前的分佈成為先驗分佈，重新計算引數的後驗分佈。
參考：
Christopher M.Bishop <<Pattern Reconition and Machine Learning>>
推薦閱讀文章: