轉自：http://blog.csdn.net/passball/article/details/5859878

先驗概率與後驗概率 事情還沒有發生,要求這件事情發生的可能性的大小,是先驗概率. 
事情已經發生,要求這件事情發生的原因是由某個因素引起的可能性的大小,是後驗概率. 一、先驗概率是指根據以往經驗和分析得到的概率，如全概率公式，它往往作為“由因求果”問題中的“因”出現。後驗概率是指在得到“結果”的資訊後重新修正的概率，如貝葉斯公式中的，是“執果尋因”問題中的“因”。先驗概率與後驗概率有不可分割的聯絡，後驗概率的計算要以先驗概率為基礎。 二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem.
三、先驗概率與後驗概率通俗釋義 事情有N種發生的可能，我們不能控制結果的發生，或者影響結果的機理是我們不知道或是太複雜超過我們的運算能力。新發一個物種，到底是貓,還是小老虎呢（朱道元的經典例子）？是由於我們的無知才不能確定判斷。 先驗概率 ( Prior probability) 先驗概率是在缺乏某個事實的情況下描述一個變數；而後驗概率是在考慮了一個事實之後的條件概率。先驗概率通常是經驗豐富的專家的純主觀的估計。比如在法國大選中女候選羅雅爾的支援率 p,在進行民意調查之前, 可以先驗概率來表達這個不確定性。 後驗概率 ( posterior probability)  Probability of outcomes of an experiment after it has been performed and a certain event has occured. 後驗概率可以根據通過貝葉斯公式，用先驗概率和似然函式計算出來。 四、一道經典概率題的終極解法——後驗事實與先驗概率的關係 經典題目： 有三個門，裡面有一個裡有汽車，如果選對了就可以得到這輛車，當應試者選定一個門之後，主持人打開了另外一個門，空的。問應試者要不要換一個選擇。假設主持人知道車所在的那個門。 經典解法： 第一次選擇正確的概率是1/3，因此汽車在另外兩個門裡的概率是2/3。主持人指出一個門，如果你開始選錯了(2/3概率)，則剩下的那個門裡100%有汽車；如果你第一次選對(1/3)了，剩下那個門裡100%沒汽車。
所以主持人提示之後，你不換的話正確概率是1/3*100%+2/3*0=1/3，你換的話正確概率是1/3*0+2/3*100%=2/3。 對於這個解法的詰問就在於，現在主持人已經開啟一個空門了（而且主持人是有意開啟這個門的），在這一“資訊” 出現後，還能說當初選錯的概率是2/3嗎？這一後驗事實不會改變我們對於先驗概率的看法嗎？答案是會的。更具體地說，主持人開啟一扇門後，對當初選擇錯誤的概率估計不一定等於2/3。 從頭說起。假設我選了B門，假設主持人打開了C門，那麼他在什麼情況下會開啟C門呢？
若A有車（先驗概率P=1/3），那主持人100%開啟C門（他顯然不會開啟B）；
若B有車（先驗概率P=1/3），那此時主持人有A和C兩個選擇，假設他以K的概率開啟C（一般K=1/2，但我們暫把它設成變數）；
若C有車（先驗概率P=1/3），那主持人開啟C的概率為0（只要他不傻。。。） 已知他打開了C，那根據貝葉斯公式——這裡P（M|N）表示N事件發生時M事件發生的概率：
P（B有車|C開啟）= P（C開啟|B有車）* p（B有車）/ P（C開啟） P（C開啟|B有車）* p（B有車） = P（C開啟|A有車）* p（A有車）+ P（C開啟|B有車）* p（B有車） K * 1/3 = 1 * 1/3 + K * 1/3 K = ------- K + 1
該值何時等於1/3 呢（也就是經典解法裡的假設）？ 只有 K=1/2 時。也就是一般情況下。但如果主持人有偏好，比方說他就是喜歡開啟右邊的門（假設C在右邊），設K=3/4， 那麼B有車的概率就變成了 3/5，不再是1/3，後驗事實改變了先驗概率的估計！ 但這並不改變正確的選擇，我們仍然應該改選A門， 解釋如下： P（A有車|C開啟）= P（C開啟|A有車）* p（A有車）/P（C開啟） P（C開啟|A有車）* p（A有車） = ------------------------------------------------------------ P（C開啟|A有車）* p（A有車）+ P（C開啟|B有車）* p（B有車） = 1 * 1/3/1 * 1/3 + K * 1/3 =1/k+1 而K < 1（假設主持人沒有極端到非C不選的程度），所以永遠有 P(B有車|C開啟) < P( A有車|C開啟).A有車的概率永遠比B大，我們還是應該改變選擇。

轉自：http://blog.csdn.net/tianguokaka/article/details/7704036

比較有意思的文章

http://hi.baidu.com/hi9394/blog/item/7e5132638102aa760c33faf2.html

先驗概率、後驗概率與似然估計

本文假設大家都知道什麼叫條件概率了（P(A|B)表示在B事件發生的情況下，A事件發生的概率）。

先驗概率和後驗概率
教科書上的解釋總是太繞了。其實舉個例子大家就明白這兩個東西了。

假設我們出門堵車的可能因素有兩個（就是假設而已，別當真）：車輛太多和交通事故。

堵車的概率就是先驗概率 。

那麼如果我們出門之前我們聽到新聞說今天路上出了個交通事故，那麼我們想算一下堵車的概率，這個就叫做條件概率 。也就是P(堵車|交通事故)。這是有因求果。

如果我們已經出了門，然後遇到了堵車，那麼我們想算一下堵車時由交通事故引起的概率有多大，

那這個就叫做後驗概率 （也是條件概率，但是通常習慣這麼說）。也就是P(交通事故|堵車)。這是有果求因。

下面的定義摘自百度百科：

先驗概率是指根據以往經驗和分析得到的概率,如全概率公式,它往往作為"由因求果"問題中的"因"出現.

後驗概率是指依據得到"結果"資訊所計算出的最有可能是那種事件發生,如貝葉斯公式中的,是"執果尋因"問題中的"因".

那麼這兩個概念有什麼用呢？

最大似然估計
我們來看一個例子。

有一天，有個病人到醫院看病。他告訴醫生說自己頭痛，然後醫生根據自己的經驗判斷出他是感冒了，然後給他開了些藥回去吃。

有人肯定要問了，這個例子看起來跟我們要講的最大似然估計有啥關係啊。

關係可大了，事實上醫生在不知不覺中就用到了最大似然估計（雖然有點牽強，但大家就勉為其難地接受吧^_^）。

怎麼說呢？

大家知道，頭痛的原因有很多種啊，比如感冒，中風，腦溢血...（腦殘>_<這個我可不知道會不會頭痛，還有那些看到難題就頭痛的病人也不在討論範圍啊！）。

那麼醫生憑什麼說那個病人就是感冒呢？哦，醫生說這是我從醫多年的經驗啊。

咱們從概率的角度來研究一下這個問題。

其實醫生的大腦是這麼工作的，

他計算了一下

P(感冒|頭痛)（頭痛由感冒引起的概率，下面類似）

P(中風|頭痛)

P(腦溢血|頭痛)

...

然後這個計算機大腦發現，P(感冒|頭痛)是最大的，因此就認為呢，病人是感冒了。看到了嗎？這個就叫最大似然估計（Maximum likelihood estimation，MLE） 。

咱們再思考一下，P(感冒|頭痛)，P(中風|頭痛)，P(腦溢血|頭痛)是先驗概率還是後驗概率呢？

沒錯，就是後驗概率。看到了吧，後驗概率可以用來看病（只要你算得出來，呵呵）。

事實上，後驗概率起了這樣一個用途，根據一些發生的事實（通常是壞的結果），分析結果產生的最可能的原因，然後才能有針對性地去解決問題。

那麼先驗概率有啥用呢？

我們來思考一下，P(腦殘|頭痛)是怎麼算的。

P(腦殘|頭痛)=頭痛的人中腦殘的人數/頭痛的人數

頭痛的樣本倒好找，但是頭痛的人中腦殘的人數就不好調查了吧。如果你去問一個頭痛的人你是不是腦殘了，我估計那人會把你拍飛吧。

接下來先驗概率就派上用場了。

根據貝葉斯公式 ，

P(B|A)=P(A|B)P(B)/P(A)

我們可以知道

P(腦殘|頭痛)=P(頭痛|腦殘)P(腦殘)/P(頭痛)

注意，(頭痛|腦殘)是後驗概率（原文寫的是先驗概率，應該有誤），那麼利用貝葉斯公式我們就可以利用先驗概率把後驗概率算出來了。

P(頭痛|腦殘)=腦殘的人中頭痛的人數/腦殘的人數

這樣只需要我們去問腦殘的人你頭痛嗎，明顯很安全了。

（你說腦殘的人數怎麼來的啊，那我們就假設我們手上有一份傳說中的腦殘名單吧。那份同學不要吵，我沒說你在名單上啊。

再說調查腦殘人數的話咱就沒必要抓著一個頭痛的人問了。起碼問一個心情好的人是否腦殘比問一個頭痛的人安全得多）

我承認上面的例子很牽強，不過主要是為了表達一個意思。後驗概率在實際中一般是很難直接計算出來的，相反先驗概率就容易多了。因此一般會利用先驗概率來計算後驗概率。

似然函式與最大似然估計

下面給出似然函式跟最大似然估計的定義。

我們假設f是一個概率密度函式，那麼

 
是一個條件概率密度函式（θ 是固定的）

而反過來，

 
叫做似然函式 （x是固定的）。

一般把似然函式寫成

 
θ是因變數。

而最大似然估計 就是求在θ的定義域中，當似然函式取得最大值時θ的大小。

意思就是呢，當後驗概率最大時θ的大小。也就是說要求最有可能的原因。

由於對數函式不會改變大小關係，有時候會將似然函式求一下對數，方便計算。

例子：

我們假設有三種硬幣，他們扔到正面的概率分別是1/3，1/2，2/3。我們手上有一個硬幣，但是我們並不知道這是哪一種。因此我們做了一下實驗，我們扔了80次，有49次正面，31次背面。那麼這個硬幣最可能是哪種呢？我們動手來算一下。這裡θ的定義域是{1/3，1/2，2/3}

當p=2/3時，似然函式的值最大，因此呢，這個硬幣很可能是2/3。