1. 程式人生 > >概率論中的條件概率-全概率-貝葉斯公式

概率論中的條件概率-全概率-貝葉斯公式

 

1、條件概率公式
        設A,B是兩個事件,且P(B)>0,則在事件B發生的條件下,事件A發生的條件概率(conditional probability)為:

                     P(A|B)=P(AB)/P(B)

分析:一般說到條件概率這一概念的時候,事件A和事件B都是同一實驗下的不同的結果集合,事件A和事件B一般是有交集的,若沒有交集(互斥),則條件概率為0,例如:

① 扔骰子,扔出的點數介於[1,3]稱為事件A,扔出的點數介於[2,5]稱為事件B,問:B已經發生的條件下,A發生的概率是多少?

也即,做一次實驗時,即有可能僅發生A,也有可能僅發生B,也有可能AB同時發生,

② 同時扔3個骰子,“三個數都不一樣”稱為事件A,“其中有一個點數為1”稱為事件B。這一題目中,AB也是有交集的。

用圖更能容易的說明上述問題,我們進行某一實驗,某一實驗所有的可能的樣本的結合為Ω(也即窮舉實驗的所有樣本),圓圈A代表事件A所能囊括的所有樣本,圓圈B代表事件B所能囊括的所有樣本。

由圖再來理解一下這個問題:“B已經發生的條件下,A發生的概率”,這句話中,“B已經發生”就相當於已經把樣本的可選範圍限制在了圓圈B中,其實就等價於這句話:“在圓圈B中,A發生的概率”,顯然P(A|B)就等於AB交集中樣本的數目/B的樣本數目。為什麼這裡用的是樣本的數目相除,而上面的公式卻是用的概率相除,原因很簡單,用樣本數目相除時,把分子分母同除以總樣本數,這就變成了概率相除。

2、乘法公式
         1.由條件概率公式得:

                       P(AB)=P(A|B)P(B)=P(B|A)P(A)    

             上式即為乘法公式;

         2.乘法公式的推廣:對於任何正整數n≥2,當P(A1A2...An-1) > 0 時,有:

                 P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)

3、全概率公式
        1. 如果事件組B1,B2,.... 滿足

               1.B1,B2....兩兩互斥,即 Bi ∩ Bj = ∅ ,i≠j , i,j=1,2,....,且P(Bi)>0,i=1,2,....;

               2.B1∪B2∪....=Ω ,則稱事件組 B1,B2,...是樣本空間Ω的一個劃分

          設 B1,B2,...是樣本空間Ω的一個劃分,A為任一事件,則:


已知:各個A∩Bi的樣本數、Bi的樣本數,
求A的樣本數 / 總樣本數Ω?

上圖中,某一實驗所有的可能的樣本的集合為Ω,圓圈A代表事件A所能囊括的所有樣本,把總集合Ω分為n個小集合,依次為B1、B2···Bn,這些小集合兩兩互斥,那麼顯然,A的樣本數目可以通過與Bi的交集來獲得,也即=(A∩B1的樣本數)+(A∩B2的樣本數)+····+(A∩Bn的樣本數)。前文已經說過,樣本數公式和概率公式,本質上是一樣的東西。

4、貝葉斯公式
      1.與全概率公式解決的問題相反,貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因(即大事件A已經發生的條件下,分割中的小事件Bi的概率),設B1,B2,...是樣本空間Ω的一個劃分,則對任一事件A(P(A)>0),有

上式即為貝葉斯公式(Bayes formula),Bi 常被視為導致試驗結果A發生的”原因“,P(Bi)(i=1,2,...)表示各種原因發生的可能性大小,故稱先驗概率;P(Bi|A)(i=1,2...)則反映當試驗產生了結果A之後,再對各種原因概率的新認識,故稱後驗概率。

已知:各個A∩Bi的樣本數、Bi的樣本數,
求A∩B3的樣本數 / A的樣本數?

例子:發報臺分別以概率0.6和0.4發出訊號“∪”和“—”。由於通訊系統受到干擾,當發出訊號“∪”時,收報臺分別以概率0.8和0.2受到訊號“∪”和“—”;又當發出訊號“—”時,收報臺分別以概率0.9和0.1收到訊號“—”和“∪”。求當收報臺收到訊號“∪”時,發報臺確係發出“∪”的概率。

解析:貝葉斯這一概念,所探討的問題,也是事件A和事件B都是某一實驗的不同的結果集合,然後把事件B這個結果集合分為n小份,每一小份也是結果集合,只不過這些小集合一定位於B集合內部,每一小份結果集合稱為Bi(i∈[1,n]),Bi之間兩兩互斥,所有Bi並起來就是B。
本例中,實驗為“發一次報,收一次報,然後記錄發、收的字元”,事件A為“收到了U”,事件B為"發出了訊號",事件B1為“發出了U”,事件B2為“發出了—”,顯然這裡B1∪B2=B,B1∩B2=∅。要想求P(B1 | A),根據條件概率公式,P(B1 | A)=P(B1 A)/P(B1),只要分別計算出分子分母就行了,顯然分子可以用上面的乘法公式來求,分母為已知(若分母未知,就得用全概率公式來求)。

貝葉斯公式,根本不用記憶,其實就是條件概率、乘法公式、全概率公式的組合。

 

總結:(1)以上四個公式的研究物件,都是“同一實驗下的不同的結果集合”

(2)為了容易理解這四個概率公式,可以把用“樣本數目公式”來代替“概率公式”,來求概率。
--------------------- 

原文:https://blog.csdn.net/qq_31073871/article/details/81077386