先驗概率與後驗概率以及貝葉斯公式
阿新 • • 發佈：2019-01-12
先驗概率與後驗概率
事情還沒有發生,要求這件事情發生的可能性的大小,是先驗概率.
事情已經發生,要求這件事情發生的原因是由某個因素引起的可能性的大小,是後驗概率. 一、先驗概率是指根據以往經驗和分析得到的概率，如全概率公式，它往往作為“由因求果”問題中的“因”出現。後驗概率是指在得到“結果”的資訊後重新修正的概率，如貝葉斯公式中的，是“執果尋因”問題中的“因”。先驗概率與後驗概率有不可分割的聯絡，後驗概率的計算要以先驗概率為基礎。 二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem.
三、先驗概率與後驗概率通俗釋義 事情有N種發生的可能，我們不能控制結果的發生，或者影響結果的機理是我們不知道或是太複雜超過我們的運算能力。新發一個物種，到底是貓,還是小老虎呢（朱道元的經典例子）？是由於我們的無知才不能確定判斷。 先驗概率 ( Prior probability) 先驗概率是在缺乏某個事實的情況下描述一個變數；而後驗概率是在考慮了一個事實之後的條件概率。先驗概率通常是經驗豐富的專家的純主觀的估計。比如在法國大選中女候選羅雅爾的支援率 p,在進行民意調查之前, 可以先驗概率來表達這個不確定性。 後驗概率 ( posterior probability) Probability of outcomes of an experiment after it has been performed and a certain event has occured. 後驗概率可以根據通過貝葉斯公式，用先驗概率和似然函式計算出來。 四、一道經典概率題的終極解法——後驗事實與先驗概率的關係 經典題目： 有三個門，裡面有一個裡有汽車，如果選對了就可以得到這輛車，當應試者選定一個門之後，主持人打開了另外一個門，空的。問應試者要不要換一個選擇。假設主持人知道車所在的那個門。 經典解法： 第一次選擇正確的概率是1/3，因此汽車在另外兩個門裡的概率是2/3。主持人指出一個門，如果你開始選錯了(2/3概率)，則剩下的那個門裡100%有汽車；如果你第一次選對(1/3)了，剩下那個門裡100%沒汽車。
所以主持人提示之後，你不換的話正確概率是1/3*100%+2/3*0=1/3，你換的話正確概率是1/3*0+2/3*100%=2/3。 對於這個解法的詰問就在於，現在主持人已經開啟一個空門了（而且主持人是有意開啟這個門的），在這一“資訊” 出現後，還能說當初選錯的概率是2/3嗎？這一後驗事實不會改變我們對於先驗概率的看法嗎？答案是會的。更具體地說，主持人開啟一扇門後，對當初選擇錯誤的概率估計不一定等於2/3。 從頭說起。假設我選了B門，假設主持人打開了C門，那麼他在什麼情況下會開啟C門呢？
若A有車（先驗概率P=1/3），那主持人100%開啟C門（他顯然不會開啟B）；
若B有車（先驗概率P=1/3），那此時主持人有A和C兩個選擇，假設他以K的概率開啟C（一般K=1/2，但我們暫把它設成變數）；
若C有車（先驗概率P=1/3），那主持人開啟C的概率為0（只要他不傻。。。） 已知他打開了C，那根據貝葉斯公式——這裡P（M|N）表示N事件發生時M事件發生的概率：
P（B有車|C開啟）= P（C開啟|B有車）* p（B有車）/ P（C開啟） P（C開啟|B有車）* p（B有車） = P（C開啟|A有車）* p（A有車）+ P（C開啟|B有車）* p（B有車） K * 1/3 = 1 * 1/3 + K * 1/3 K = ------- K + 1
該值何時等於1/3 呢（也就是經典解法裡的假設）？ 只有 K=1/2 時。也就是一般情況下。但如果主持人有偏好，比方說他就是喜歡開啟右邊的門（假設C在右邊），設K=3/4， 那麼B有車的概率就變成了 3/5，不再是1/3，後驗事實改變了先驗概率的估計！ 但這並不改變正確的選擇，我們仍然應該改選A門， 解釋如下： P（A有車|C開啟）= P（C開啟|A有車）* p（A有車）/P（C開啟） P（C開啟|A有車）* p（A有車） = ------------------------------------------------------------ P（C開啟|A有車）* p（A有車）+ P（C開啟|B有車）* p（B有車） = 1 * 1/3/1 * 1/3 + K * 1/3 =1/k+1 而K < 1（假設主持人沒有極端到非C不選的程度），所以永遠有 P(B有車|C開啟) < P( A有車|C開啟).A有車的概率永遠比B大，我們還是應該改變選擇。
事情已經發生,要求這件事情發生的原因是由某個因素引起的可能性的大小,是後驗概率. 一、先驗概率是指根據以往經驗和分析得到的概率，如全概率公式，它往往作為“由因求果”問題中的“因”出現。後驗概率是指在得到“結果”的資訊後重新修正的概率，如貝葉斯公式中的，是“執果尋因”問題中的“因”。先驗概率與後驗概率有不可分割的聯絡，後驗概率的計算要以先驗概率為基礎。 二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem.
三、先驗概率與後驗概率通俗釋義 事情有N種發生的可能，我們不能控制結果的發生，或者影響結果的機理是我們不知道或是太複雜超過我們的運算能力。新發一個物種，到底是貓,還是小老虎呢（朱道元的經典例子）？是由於我們的無知才不能確定判斷。 先驗概率 ( Prior probability) 先驗概率是在缺乏某個事實的情況下描述一個變數；而後驗概率是在考慮了一個事實之後的條件概率。先驗概率通常是經驗豐富的專家的純主觀的估計。比如在法國大選中女候選羅雅爾的支援率 p,在進行民意調查之前, 可以先驗概率來表達這個不確定性。 後驗概率 ( posterior probability) Probability of outcomes of an experiment after it has been performed and a certain event has occured. 後驗概率可以根據通過貝葉斯公式，用先驗概率和似然函式計算出來。 四、一道經典概率題的終極解法——後驗事實與先驗概率的關係 經典題目： 有三個門，裡面有一個裡有汽車，如果選對了就可以得到這輛車，當應試者選定一個門之後，主持人打開了另外一個門，空的。問應試者要不要換一個選擇。假設主持人知道車所在的那個門。 經典解法： 第一次選擇正確的概率是1/3，因此汽車在另外兩個門裡的概率是2/3。主持人指出一個門，如果你開始選錯了(2/3概率)，則剩下的那個門裡100%有汽車；如果你第一次選對(1/3)了，剩下那個門裡100%沒汽車。
所以主持人提示之後，你不換的話正確概率是1/3*100%+2/3*0=1/3，你換的話正確概率是1/3*0+2/3*100%=2/3。 對於這個解法的詰問就在於，現在主持人已經開啟一個空門了（而且主持人是有意開啟這個門的），在這一“資訊” 出現後，還能說當初選錯的概率是2/3嗎？這一後驗事實不會改變我們對於先驗概率的看法嗎？答案是會的。更具體地說，主持人開啟一扇門後，對當初選擇錯誤的概率估計不一定等於2/3。 從頭說起。假設我選了B門，假設主持人打開了C門，那麼他在什麼情況下會開啟C門呢？
若A有車（先驗概率P=1/3），那主持人100%開啟C門（他顯然不會開啟B）；
若B有車（先驗概率P=1/3），那此時主持人有A和C兩個選擇，假設他以K的概率開啟C（一般K=1/2，但我們暫把它設成變數）；
若C有車（先驗概率P=1/3），那主持人開啟C的概率為0（只要他不傻。。。） 已知他打開了C，那根據貝葉斯公式——這裡P（M|N）表示N事件發生時M事件發生的概率：
P（B有車|C開啟）= P（C開啟|B有車）* p（B有車）/ P（C開啟） P（C開啟|B有車）* p（B有車） = P（C開啟|A有車）* p（A有車）+ P（C開啟|B有車）* p（B有車） K * 1/3 = 1 * 1/3 + K * 1/3 K = ------- K + 1
該值何時等於1/3 呢（也就是經典解法裡的假設）？ 只有 K=1/2 時。也就是一般情況下。但如果主持人有偏好，比方說他就是喜歡開啟右邊的門（假設C在右邊），設K=3/4， 那麼B有車的概率就變成了 3/5，不再是1/3，後驗事實改變了先驗概率的估計！ 但這並不改變正確的選擇，我們仍然應該改選A門， 解釋如下： P（A有車|C開啟）= P（C開啟|A有車）* p（A有車）/P（C開啟） P（C開啟|A有車）* p（A有車） = ------------------------------------------------------------ P（C開啟|A有車）* p（A有車）+ P（C開啟|B有車）* p（B有車） = 1 * 1/3/1 * 1/3 + K * 1/3 =1/k+1 而K < 1（假設主持人沒有極端到非C不選的程度），所以永遠有 P(B有車|C開啟) < P( A有車|C開啟).A有車的概率永遠比B大，我們還是應該改變選擇。