1. 程式人生 > >機器學習 (九) 深入淺出貝葉斯-Thomas Bayes

機器學習 (九) 深入淺出貝葉斯-Thomas Bayes

注意:貝葉斯是一個偉大的發明,給人工智慧以及社會發展帶來了巨大貢獻**。

引言

       隨著對貝葉斯的不斷應用,對貝葉斯有了從新的認識,以前認為貝葉斯知識用來解決二分類問題,是大錯特錯發現貝葉斯是一種很厲害的理論,對於現在的人工智慧以至於整個統計學都有著巨大貢獻,貝葉斯這個人是英國業餘數學家,他提出的理論主要是用新產生的客觀事物或觀點來更新或修正舊的新年觀點,比如你語言以後人工智慧將會多牛逼(這就是你的先言 即先驗概率),只說不行,需要根據客觀事實來支撐你的觀點,如經過調查的確大資料應用廣泛了起來,那麼你可以利用這一資料來更新你最初的斷言,形成新的概率,即後驗概率。
       這一觀點思路對後面統計學的發展起了決定性作用,因為傳統的經典統計學有其自身的範圍,例如明天是否下雨呢,天氣預報現在經常報道40%可能性下雨,這個理解起來你是覺的會下雨還是不會下雨,結果只有下了才會知道,如果不深入挖掘你可能會想不下雨的可能性小,這個概率是不是隻是給我們自己的一個感官認識,不能夠量化。
       傳統統計學與貝葉斯統計學對比圖,如下:
這裡寫圖片描述

場景介紹

貝葉斯可以說在我們生活中無處不在,大到國家世界,小到粗茶淡飯,都能找到貝葉斯的身影,我們先抽取幾個典型的例項說一下。

黑白求

  • 正常
    假如一個盒子裡面已知有黑球6個,白球4個,先閉眼去拿取一個球,問你黑球和白球比例多少?相信大家都知道6/4
  • 倒過來
    現同樣有一個盒子,不知道里面黑白求比例,每次隨機拿一個球記錄是黑球或白球,讓你計算拿出來是黑球或白球概率?

疾病診斷

這裡寫圖片描述

AlphaGo

這裡寫圖片描述
       這有沒有像知道結果了,求原因的概率問題,也就是通常說的“逆概率問題”,並且隨著每次新拿出來的球的結果會不斷去更新這個概率值,相信結果會越來越接近真實值,可以迭代求解。

貝葉斯公式及發展歷程

Thomas Bayes

貝葉斯本人以及公式,如下:
這裡寫圖片描述
該公式中P(A) 表示先驗概率,P(A|B) 叫後驗概率 即在B事件發生的情況下,事件A發生的概率,P(B)叫標準化常量。

幾何證明

       先解釋幾個概念,數學上的集合概念其實和某事件是一樣的,例如一個集合有1、2、3、4、5、6六個數字,可以賦予他們含義表示扔一個骰子的點數,現在設S是整個樣本空間集合,另外兩個集合A 、B,AB都被包含在集合S中,可以利用圖形來畫一下,如下:
這裡寫圖片描述
圖中橘黃色的是代表事件A,綠色的代表事件B,中間紅色即兩件事情相交的部分設為C,三個事件的樣本個數依次為s、a、b,轉換思路利用樣本個數或面積證明公式:
這裡寫圖片描述

證明如下:
這裡寫圖片描述

上面我們證明了,兩個事件的條件關係概率,我們把兩個事件A B之間的事件,推廣到其它多個事件,如下:

這裡寫圖片描述
在上面這張圖中

這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述

這裡寫圖片描述

其它應用

       自然語言處理、計算機視訊等領域也應用了貝葉斯概率,其它聽懂別人說話我們可以理解為猜測的過程,如某人A說了話通過空氣傳播到機器計算機中,計算器接收到訊號之後需要做解碼工作,解碼也就是猜測接收到訊號的所要表達資訊的最大可能性意思是啥,這裡面會涉及到隱含馬爾科夫模型,計算每一個詞語的概率。
       貝葉斯擴充套件可以延伸到貝葉斯網路,貝葉斯網路是更加複雜的結構可以處理更復雜的問題,在後面的文章中我們會詳細介紹如何應用貝葉斯網路模型解決問題。

總結

       我們來談一談對貝葉斯積分公式的理解,在積分公式中有一個似然函式(likelihood),我們已經知道貝葉斯概率是對先驗概率不斷修正的過程,在想一想模型訓練的過程式什麼呢?往往是求最佳迴歸係數,我們的求解過程式先假設一組初始化的迴歸係數,繼而通過貝葉斯來不斷優化,不斷計算後延概率,其實我們是用樣本資料來不斷更新我們的迴歸係數。
       在已知訓練集的情況下,樣本x就不再變化,這個時候迴歸係數是動態變化的,如此一來回歸係數有很多個值,如果變化很慢會形成曲線,這就是表示估計係數與樣本之間的關係函式叫做似然估計函式或者似然函式。
       換句話說藉助於貝葉斯概率來預測樣本與引數之間關係的對映關係,成為引數估計或似然函式。