Bayes貝葉斯

一、Bayes小故事

       貝葉斯(約1701-1761) Thomas Bayes，英國數學家。約1701年出生於倫敦，做過神甫。1742年成為英國皇家學會會員。1761年4月7日逝世。

       貝葉斯定理在概率統計是最經典的內容之一，但是本人卻是一個謎團。沒人知道他是怎麼當選英國皇家學會會士，也沒有記錄表明他發表過任何科學或數學論文，據說他從事數學研究的目的是為了證明上帝的存在。貝葉斯定理是被後來的數學家拉普拉斯推廣為熟知。

注;貝葉斯學派略，引數是穩定值還是隨機變數的問題。

二、貝葉斯可以做什麼？

     事件中，我們經常會用到概率，概率論是研究隨機現象的統計規律性的科學。

舉例兩個一模一樣的碗，一號碗有30顆水果糖和10顆巧克力糖，二號碗有水果糖和巧克力糖各20顆。現在隨機選擇一個碗，從中摸出一顆糖，發現是水果糖。請問這顆水果糖來自一號碗的概率有多大？

        我們可以輕易的得到，第一個或者第二個碗裡白色糖的概率，但是我們不能知道拿出一個糖的概率，判斷是從哪個盤裡拿的？貝葉斯就是解決“逆問題”，從他的公式中，以及定了先驗概率和後驗概率中也能感覺出這一點。所以，也正如常用的分類問題。

舉例2：

三、準備知識

     大數定理（伯努利）：所謂一個時間發生的頻率具有穩定性（概率），是指當實驗的次數無限時，在某種收斂意義下逼近某一定數。與之對應：所謂某一實驗可能發生的各種結果的頻率分佈情況金絲某一分佈（如測量誤差的分佈近似於正太分佈），也是從某種極限意義上說的。所以，根據大數定理，當訓練集包含充足的獨立同分布樣本時，   P(C)先驗概率可以通過各類樣本的頻率進行估計

     中心極限定理：在客觀實際中有很多隨機變數，它們是有大量的相互獨立的隨機因素的綜合影響所形成。而其中每一個因素在總的影響中所起的作用都是微小的，這種隨機變數往往近似地服從正態分佈，這種現象就是中心極限定理。

    條件概率：P(AB)=P(A)P(B|A)=P(B)P(A|B)；即事件A和事件B同時發生的概率等於在發生A的條件下B發生的概率乘以A的概率

   全概率公式：P(A)=P （A|B1)P(B1)+P（A|B2)P(B2)+..P（A|Bn)P(Bn)

   高斯分佈

四、貝葉斯公式

P(B)稱為"先驗概率"（Prior probability），即在B事件發生之前，我們對A事件概率的一個判斷。

P(A|B)稱為"後驗概率"（Posterior probability），即在B事件發生之後，我們對A事件概率的重新評估。

後驗概率 = (似然度 * 先驗概率)/標準化常量也就是說，後驗概率與先驗概率和似然度的乘積成正比

例項; 現分別有 A，B 兩個容器，在容器 A 裡分別有 7 個紅球和 3 個白球，在容器 B 裡有 1 個紅球和 9 個白球，現已知從這兩個容器裡任意抽出了一個球，且是紅球，問這個紅球是來自容器 A 的概率是多少?

假設已經抽出紅球為事件 B，從容器 A 裡抽出球為事件 A，則有：P(B) = 8 / 20，P(A) = 1 / 2，P(B | A) = 7 / 10，按照公式，則有：P(A|B)=(7 / 10)*(1/ 2)/(8/20)=0.875

五、最大似然貝葉斯分準則類

最大似然

      最大似然分類（maximumlikelihoodclassification ）：在兩類或多類判決中，用統計方法根據最大似然比貝葉斯判決準則法建立非線性判別函式集，假定各類分佈函式為正態分佈，並選擇訓練區，計算各待分類樣區的歸屬概率，而進行分類的一種影象分類方法。又稱為貝葉斯（Bayes）分類法，是根據Bayes準則對遙感影像進行分類的。

設為離散型隨機變數，為多維引數向量，如果隨機變數相互獨立且概率計算式為P{，則可得概率函式為P{}=，在固定時，上式表示的概率；當已知的時候，它又變成的函式，可以把它記為，稱此函式為似然函式。似然函式值的大小意味著該樣本值出現的可能性的大小，既然已經得到了樣本值，那麼它出現的可能性應該是較大的，即似然函式的值也應該是比較大的，因而最大似然估計就是選擇使達到最大值的那個作為真實的估計。

主要這裡似然函式是一個聯合屬性分佈概率，和類條件概率是有關係的，也就有貝葉斯有關。最大值的估計，可以用概率判別屬於哪一類的問題。也可以說是這類中畫素中包含這個點的概率。在應用中就是，哪一類的概率高，認為屬於哪一類。

在下面的最大似然估計求解過程，首先要注意要有一個屬於分佈，然後注意極值LOG後去偏導，找到估計最大值。

決 策

       樣本X出現的後驗概率作為判別函式來確定所用型別，先驗概率轉化為後驗概率，中間需要訓練樣本的類條件概率（概率密度函式），最後用後驗概率最大原則確定樣本所屬於型別。

其中判別函式可以分類界限，是由公式決定，如下公式和圖

其中對於類條件概率（聯合概率）又分為，

l  基於最小錯誤率的貝葉斯分類

l  基於最小風險的貝葉斯分類

因為最小錯誤不一定是最好，有時候需要犧牲錯誤率，而減少風險，例如把好藥錯當我壞藥要比把壞藥當作好藥的結果要好。

六、最大似然與貝葉斯聯絡與區別

1.     最大似然估計是求似然函式的最大，可以決定點屬於哪類概率 對點的估計

2.     貝葉斯估計是求似然函式*先驗概率的最大，是對分佈的估計

3.     兩者決策有相同。

七、貝葉斯的拓展

有缺點，會引出隨機漫步（random walk）、馬爾科夫鏈（markovcahain）、EM演算法