1. 程式人生 > >貝葉斯模型的理解(2)

貝葉斯模型的理解(2)

讀了之前一篇文章,應該對先驗資訊和最大似然函式有了一定的理解,那下面來說貝葉斯模型最後一個總要概念:後驗概率。
在上篇文章中,我們通過求解似然函式的概率最大值,求得了引數r,大家還會發現,提前拋硬幣的次數不同,r最後的取值是不同的。
大家記住這個公式:後驗概率公式
這裡寫圖片描述
下面解釋這個公式中的組成成分的意義:

1.這個公式中p(r)就是先驗資訊,正面朝上的概率。

2.p(yN|r)就是是似然函式,似然函式就是用來衡量已經發生的事可能性(比如已經拋了10次硬幣,9次朝上),是一個概率值,如果我們的 r 很合適,那麼p(yN|r)就應該很大—就是我們叫的 最大化似然函式,也就是這個函式對現象解釋的很合理。

在給定 r 的條件下,拋硬幣是一個獨立重複實驗,故p(yN|r)服從二項分佈,而且,要注意的是
似然函式與實驗過程中觀測到的資料息息相關。下圖給出了兩個不同拋硬幣次數的實驗下的似然函式。其中一個拋了100次硬幣,出現了70次正面;另一個拋了10次硬幣,出現了6次正面。
這裡寫圖片描述

從圖中可以得到兩個結論:
1.似然函式不是概率密度函式。因為概率密度函式的積分為1(曲線圍成的面積為1),而上圖中兩個似然函式曲線圍成的面積顯然不相等。
2.拋100次出現70次正面的這次實驗 所代表的似然函式的引數 r 的取值範圍大約為[0.6,0.8],而拋10次出現6次正面的實驗 所代表的似然函式的引數 r 的取值範圍約為[0.2,0.9],其變化範圍要大於前者

於是我們可以知道:進行的實驗次數越多,我們掌握的資訊也就越多,關於先驗資訊 r 的不確定性也就越小。根據上面的似然函式的影象,在給定一次實驗資料的前提下,比如拋100次硬幣,出現了70次正面,我們的目標就是尋找使得似然函式取最大值的r,比如圖中的r=0.7,這個0.7也更加符合先驗資訊。

3.p(yN)是邊界似然函式
計算公式:這裡寫圖片描述
這是一個條件概率公式,從上式可以看出,(marginal likelihood)邊界似然函式p(yN),其實還是由似然函式p(yN|r) 和 先驗分佈p(r) 來決定。

邊界似然函式的作用是用來:選擇最合適的先驗資訊。大家先記住這句話。

4.開始介紹後驗概率:p(r|yN)

作用:後驗分佈就是用來對未知資料進行預測的模型,這也是利用貝葉斯模型的原因,利用已知的,估計未知的。
在後驗分佈p(r|yN)中,我們基於已觀測到的資料yN(訓練樣本),求出具體的最合適的模型引數 r″,因而也就確定了一個具體的二項分佈B(N,r″)。

那麼對於下一輪試驗,比如拋20次硬幣,其中有8次正面向上的概率怎麼計算呢:就可以講利用後驗概率公式去計算,yN變數 =8。

總結貝葉斯就是:貝葉斯後驗分佈就是利用,我們在實驗前已經掌握了的資訊(先驗知識),和做了若干次實驗發現的一些規律(似然函式),確定出合適的二項分佈模型引數 r ,然後基於 r 來預測新的實驗結果。

好了,後驗概率介紹完了,用了比較特殊的二項分佈的例子,於是大家注意二項分佈有下面的特殊性:
大家要注意,投硬幣是一個很特殊的問題,因為符合二項分佈。
所有有了下面這句話:
概率論裡面的一個理論知識:當似然函式服從二項分佈時,選擇服從beta概率密度函式來表示 先驗分佈 是一個很好的選擇,這樣似然函式與先驗分佈就構成了“共軛”關係。
共軛關係的好處就是:不用計算邊界似然函式(公式1中的分母)了,從而簡化了後驗分佈p(r|yN)的計算
所以,上面“8次正面向上的概率怎麼計算”可以直接用沒有分母的後驗概率去計算:
這裡寫圖片描述

上面的beta概率密度函式,可以完美的表達所有的先驗資訊,就是隻告訴你這是一枚硬幣,沒有說做沒做手腳。
就是對於先驗資訊,有如下三種情況:

1:一無所知,我們不知道拋一次硬幣出現正面的概率是大於 還是小於 還是等於 出現反面的概率
2:拋一次硬幣出現正面的概率 等於 出現反面的概率
3:拋一次硬幣出現正面的概率 大於 出現反面的概率

對於上述三種情況而言,它們其實可以統一用beta 分佈來表示( beta density function)。beta概率密度帶有兩個引數α 和 β,它的表示式如下:
這裡寫圖片描述

對應的曲線為:
這裡寫圖片描述

第1種情況 p(r)概率密度是均勻分佈,因為我們對 r 一無所知,認為 r 在[0,1]範圍內取值是等概率的。
第2種情況 p(r)表示:拋一次硬幣出現正面的概率 等於 出現反面的概率,也即,在 r=0.5 是最可能的。因此在0.5處,概率密度最大。
第3種情況:硬幣出現正面的概率r 大於 出現反面的概率。概率密度越大,表示 r 越可能取 接近於1的值。

在上面我的講解中,設定了先驗資訊是第3中情況,所以已經將兩個引數取值。

下節介紹更加一般的貝葉斯情況。