2. 程式人生 > >貝葉斯理論

貝葉斯理論

阿新 • • 發佈：2018-11-27

例子-正向概率

還是拿質檢員的例子來做分析，假如我是一個質檢員，現在接到了三箱零件需要檢驗，其中第一箱有10個零件，第二箱有20個零件，第三箱有15個。半小時過去了，檢驗的結果出爐，第一箱有1個不合格，第二箱有3個不合格，第三箱2個不合格。

箱子 總零件個數 不合格
A 10 1
B 20 3
C 15 2

那現在我從這三個箱子中隨便拿取一個零件，這個零件是合格的概率是多少呢？我們假設事件D：零件合格，則：

\begin{equation*} \begin{split} P(D)&=P(A)*P(D| A) + P(B) *P(D| B) + P(C)*P(D | C) \\ &=(1/3) * (9/10) + (1/3) * (17/20) + (1/3) * (13/15) \\ &= 0.872 \end{split} \end{equation*}

像這樣得出一個零件是合格的概率就計算出來了，但是在機器學習領域中，可能我們更想知道，給你一個樣本，這個樣本屬於哪個類目的問題，這也叫分類問題，這就涉及到反向概率的問題。

反向概率-樸素貝葉斯理論

現在我們假設這樣一個場景：你拿到了一個零件，這個零件是屬於哪個箱子？這個問題在機器學習中就是類比為：給你一個樣本，這個樣本有很多特徵，機器模型輸出該樣本屬於哪個類別。這樣我們來理解貝葉斯理論。

條件概率

P(A|B) = \frac{P(AB)}{P(B)}

P(A|B)表示事件B已經發生的前提下，事件A發生的概率，叫做事件B發生下事件A的條件概率，P(AB)表示事件A、事件B共同發生的概率，P(B)表示事件B發生的概率，這樣就計算就是一個條件概率。 我們結合上面零件合格這個場景繼續思考，如果我們知道了這件零件是合格的，那麼它是來自A、B、C三類中具體哪個類中？具體哪個類目我們肯定是不知道的，因為三個類目都有合格的零件，但是我們可以知道這件合格的零件來自每個類目的概率是多少，也就是求P(A|D)

、P(B|D)、P(C|D)，其中D表示這件零件是合格的概率，由條件概率知道：

\begin{equation*} \begin{split} P(A|D) = \frac{P(A*D)}{P(D)} \\ P(B|D) = \frac{P(B*D)}{P(D)} \\ P(C|D) = \frac{P(C*D)}{P(D)} \end{split} \end{equation*}

其中 P(D) 已經在上面計算出來了， P(D)=0.872 ， P(A*D) 表示這件零件來自A箱子，並且是正品的概率，兩個條件是獨立的，所以我們計算為：

\begin{equation*} \begin{split} P(A*D) &=P(A)*P(D|A)\\ &= (1/3) * (9/10) \\ &=0.3 \end{split} \end{equation*}

於是我們可以計算合格商品來自每個箱子的概率：

\begin{equation*} \begin{split} P(A|D) &= \frac{P(A*D)}{P(D)} \\ &=0.3/0.872 \\ &=0.344 \\ \\ P(B|D) &= \frac{P(B*D)}{P(D)} \\ &=0.283 /0.872\\ &=0.324 \\ \\ P(C|D) &= \frac{P(C*D)}{P(D)} \\ &=0.289/0.872 \\ &=0.332 \end{split} \end{equation*}

從而知道了合格的零件最可能來自箱子A，因為來自箱子A的概率最高，達到了0.344。從這個例子中我們可以引出貝葉斯理論：

我們假設事件D發生了，求事件D發生是因為事件A的概率，求逆向概率，怎麼理解？看下面： 1、假設事件A導致事件D發生的條件概率是：

P(D|A) = \frac{P(D*A)}{P(A)}

所以$$P(D*A)=P(D|A)*P(A)$$ 2、現在事件D發生了，可能是事件A導致的，也可能是事件B導致，或者其他事件導致的，我們想知道，是事件A導致的概率，所以，事件D發生是因為事件A導致的條件概率，公式如下：

P(A|D) = \frac{P(D*A)}{P(D)}

將1步驟中的P(D*A)=P(D|A)*P(A) 代入到本公式中，替換分子P(D*A)得到：

P(A|D) = \frac{P(D|A)*P(A)}{P(D)}

公式推導如上，經過上述兩個步驟後，我們可以得到最終的貝葉斯公式：

P(A|D) = \frac{P(D|A)*P(A)}{P(D)}

可能有人問：我們這麼轉換公式是為了什麼？其實推導工程也就用了兩次條件概率，正好兩次條件概率公式的分子是一樣的，用來替換一下，其實這是因為在我們日常中，我們比較容易知道結果，就像你帶著眼罩從箱子裡隨便拿到一個零件，這個零件合格或不合格是容易判斷的，但是你怎麼知道它是來自哪個箱子的？於是我們的問題就變成了：從三個箱子中拿出一個零件，這個零件是屬於某一個箱子的概率，問題角度變了，我們不再關注它是合格還是不合格，合格或不合格很容易知道，但它屬於哪個箱子就不容易知道，貝葉斯的提出就是解決這個問題。

類比到機器學習領域

好了，我們知道了貝葉斯理論，那麼對應到機器學習領域，這個思維怎麼轉換？類比到機器學習就是：給你一條樣本，這個樣本的特徵給出來了，每個特徵的具體數值也給你了，現在請你告訴我它屬於哪個類目？當然，這肯定是一條測試集，因為在訓練集中，每一條記錄都被標記了結果，也就是被打上標籤，在二分類任務中，樣本屬於A類就被標記1，不屬於A類就被標記0，形式化描述就是如下：

輸入：訓練集X_{train}=\{{x_1},{x_2},{x_3},...,{x_n}\} ，測試集 X_{test}=\{{x_1},{x_2},{x_3},...,{x_m}\} 其中x_1=\{{t_1},{t_2},{t_3},...,{t_h}\}，每一個樣本又h個特徵，訓練集中每一個樣本還有一個label標註結果。

這是比較形式化的一個描述，但又比較抽象，我們可以這麼理解，給你測試集的一個樣本，這個樣本的每個特徵數值告訴你了，這相當於告訴你這個零件是合格的還是不合格，然後你來告訴我這個樣本是屬於哪個類目，也就是 樣本中的特徵數值 就是上述箱子例子中零件合格這個結果，同時因為訓練集有特徵數值、每個樣本有類目結果，我們可以從訓練集入手，比較輕鬆的計算貝葉斯公式中某些概率，下一節，我們將具體計算。

機器學習中的貝葉斯理論

我們繼續將貝葉斯理論結合到機器學習領域，我們假設場景：

背景條件：訓練集X_{train}=\{{x_1},{x_2},{x_3},...,{x_n}\}，分類結果是C=\{C_1,C_2,...,C_i\}，每一條訓練集記錄對飲一個分類結果 輸入：給你一個測試集樣本x_1=\{{t_1},{t_2},{t_3},...,{t_h}\} 輸出：給出這個樣本屬於哪個類目

首先思考，一共有i個分類結果，我們可以計算這個樣本屬於每個分類結果的概率，選取概率大的分類結果作為這條樣本的類目，那針對這條樣本我們知道每個特徵的數值，我們認為這些特徵是從訓練集中挑選的，每個訓練集樣本有一個分類結果，於是我們將特徵類比為合格，那麼這個合格樣本來自那個類目？思考如下：

1、樣本資料是x_1=\{{t_1},{t_2},{t_3},...,{t_h}\}，先取一個特徵分析，我們假設取的特徵是t_h，根據貝葉斯理論我們知道P(C_i|t_h)公式定義如下：

P(C_i|t_h)= \frac{P(t_h|C_i)*P(C_i)}{P(t_h)}

2、我們針對1中的公式來拆解分析：

  • （1）$P(t_h|C_i)$表示在$C_i$分類中$t_h$出現的概率，我們可以利用訓練集中來計算，因為訓練集中有這個特徵數值，可以計算這個特徵數值出現在$C_i$類目樣本中的概率
  • （2）$P(C_i)$表示類目$C_i$出現的概率，這個直接計算訓練集中$C_i$類目樣本佔總樣本的比例
  • （3）$P(t_h)$表示特徵$t_h$出現的概率，計算類似從箱子中取一個合格零件的概率，這裡就是從各個類目中抽取這個特徵數值的概率

    通過上述的三個步驟就可以計算出特徵t_h屬於類目C_i的概率。我們繼續推廣，一個樣本記錄有多個特徵，所以我們假設：

    假設：樣本中每個特徵之間是互相獨立、互不影響的。

    這條假設很重要，因為接下來我們要計算一個樣本屬於某個類目的概率了。

    求P(C_i|x_i)，由上述的假設，每個特徵都是獨立的，則:

    （1）P(x|C_i)=P(t_1|C_i)*P(t_2|C_i)*P(t_3|C_i)...P(t_h|C_i)=\prod_{j=0}^hP(t_j|C_i) （2）P(x)=P(t_1)*P(t_2)*P(t_3)... P(t_h)=\prod_{j=0}^hP(t_j) 所以P(C_i|t_h)公式為：

    P(C_i|x)= \frac{P(x|C_i)*P(C_i)}{P(x)}= \frac{\prod_{j=0}^hP(t_j|C_i)*P(C_i)}{\prod_{j=0}^hP(t_j)}

    這樣根據公式P(C_i|x)，我們就可以計算出：P(C_1|x)、P(C_1|x)、P(C_i|x)等分類的概率，通過比較大小，我們就可以知道這個這個樣本屬於哪個類目了，重點是比較概率大小，所以在計算的時候也可以不計算分子，因為分子P(x)對於多有分類結果來說都是一樣的，所以直接計算分子比較概率大小。

    P(t_h|C_i)計算

    上文中我們研究了貝葉斯理論實現對樣本的分類，但是其中P(t_h|C_i)的計算會有一個問題：如果特徵都是離散值，這就可以直接求離散值的佔比情況就可以，但是如果特徵是連續值，就不好計算了， 通常當特徵屬性為連續值時，我們假定其值是服從高斯分佈（也稱正態分佈）。即：

    g(x,\sigma,\mu)=\frac{1}{\sqrt{{2\pi}}\times\sigma}e^{\frac{1}{2}(\frac{x-\mu}{\sigma})^2}
    P(t_h|C_i)=g(t_h,\sigma_{C_i},\mu_{C_i})

    因此只要計算出訓練集中各個類別中此特徵項劃分的各均值和標準差，代入上述公式即可得到需要的估計值。另一個需要討論的問題就是當P(t_h|C_i)=0怎麼辦，當某個類別下某個特徵項劃分沒有出現時，就是產生這種現象，這會令分類器質量大大降低。為了解決這個問題，我們引入Laplace校準，它的思想非常簡單，就是對每類別下所有特徵出現的計數加1，這樣如果訓練樣本集數量充分大時，並不會對結果產生影響，並且解決了上述頻率為0的尷尬局面。

    總結

    這很多都是自我理解的東西，有些概念、標題可能不是那麼準確，也就是拍腦袋想起來的，總結不到位的地方希望大家指出。下回我將講解貝葉斯理論如何結合實際場景，總之感謝網路上大牛的部落格，讓我學到了很多內容，此文是自己思考理解的，希望對大家有幫助。

    參考部落格

    機器學習：說說貝葉斯分類 演算法雜貨鋪——分類演算法之樸素貝葉斯分類(Naive Bayesian classification)

    • 相關推薦

    Python代碼和貝葉斯理論告訴你，誰是最好的棒球選手

    AMM nes labs 最終 via 現實生活 alt www .net 編譯：李雷、張馨月、王夢澤、小魚 除了文中所附的代碼塊，你也可以在文末找到整個程序在Jupyter Notebook上的鏈接。 在數據科學或統計學領域的眾多話題當中，我覺得既有趣但又難理解的一個就是

    不用數學也能講清貝葉斯理論的馬爾可夫鏈蒙特卡洛方法？這篇文章做到了

    大多數時候，貝葉斯統計在結果在最好的情況下是魔法，在最糟糕時是一種完全主觀的廢話。在用到貝葉斯方法的理論體系中，馬爾可夫鏈蒙特卡洛方法尤其神祕。   這篇文章將介紹馬爾可夫鏈蒙特卡洛方法，極其背後的基本數學推理。   首先，什麼是馬爾可夫鏈蒙特卡洛（MCMC）

    【學習筆記】Pattern Recognition&Machine Learning [1.2] Probability Theory(2) 基於高斯分佈和貝葉斯理論的曲線擬合

        高斯分佈不必贅述，這裡記錄個有意思的東西，即從高斯分佈和貝葉斯理論出發看曲線擬合（即選擇引數w）。     首先假設我們使用多項式擬合曲線，根據泰勒展開的方法，我們可以用有限項多項式在一定精度內擬合任何曲線。  &nb

    【學習筆記】Pattern Recognition&Machine Learning [1.2] Probability Theory(1)貝葉斯理論

        這節講了概率論中的一些基本概念，這裡記錄一下對貝葉斯理論的理解。     首先簡單描述一下貝葉斯理論。     對於一個隨機事件，我們首先給出先驗分佈，不妨設為p(w)

    貝葉斯理論

    例子-正向概率 還是拿質檢員的例子來做分析，假如我是一個質檢員，現在接到了三箱零件需要檢驗，其中第一箱有10個零件，第二箱有20個零件，第三箱有15個。半小時過去了，檢驗的結果出爐，第一箱有1個不合格，第二箱有3個不合格，第三箱2個不合格。 箱子 總零件個數 不合格

    樸素貝葉斯理論--自我理解

    例子-正向概率 還是拿質檢員的例子來做分析，假如我是一個質檢員，現在接到了三箱零件需要檢驗，其中第一箱有10個零件，第二箱有20個零件，第三箱有15個。半小時過去了，檢驗的結果出爐，第一箱有1個不合格，第二箱有3個不合格，第三箱2個不合格。 箱子

    很好的關於貝葉斯理論的文章

    貝葉斯推斷及其網際網路應用 作者：阮一峰 一、什麼是貝葉斯推斷 貝葉斯推斷（Bayesian inference）是一種統計學方法，用來估計統計量的某種性質。 它是貝葉斯定理（Bayes' theorem）的應用。英國數學家托馬斯·貝葉斯（Thomas B

    NB樸素貝葉斯理論推導與三種常見模型

    轉自：http://www.tuicool.com/articles/zEJzIbR 樸素貝葉斯（Naive Bayes）是一種簡單的分類演算法，它的經典應用案例為人所熟知：文字分類（如垃圾郵件過濾）。很多教材都從這些案例出發，本文就不重複這些內容了，而把重點放在理論推導（其實很淺顯，別被“理論”嚇到），三

    PRML（一）如何根據貝葉斯理論推導多項式曲線擬合問題的cost function

    馬上要成為一個ML/DL方向的工程師，PRML作為經典教材，對於理解一些常用演算法的intuition和motivation是非常有益的。雖然是2006年出版的一本書，但是有很多內容仍然值得學習和反思。加之本書有一些習題可以鞏固思考，今天開始踏入PRML的

    白話貝葉斯理論及在足球比賽結果預測中的應用和C#實現

          貝葉斯分類的基礎是概率推理，就是在各種條件的存在不確定，僅知其出現概率的情況下，如何完成推理和決策任務。概率推理是與確定性推理相對應的。而樸素貝葉斯分類器是基於獨立假設的，即假設樣本每個特徵與其他特徵都不相關。舉個例子，如果一種水果其具有紅，圓，直徑大概4英寸等特徵，該水果可以被判定為是蘋果。

    樸素貝葉斯——理論篇

    在學習樸素貝葉斯時，需要注意以下幾個關鍵點： 1.它是構建分類器的簡單方法，不是一個訓練分類器的單一方法，而是一系列基於相同原理的演算法，例如（基於高斯分佈的樸素貝葉斯和基於多項式的樸素貝葉斯等）。 2.它是一個基於貝葉斯定理與特徵獨立性假設的分類方法。這裡我想解釋一下特徵

    一句話說明樸素貝葉斯理論

    　樸素貝葉斯理論：天真的假設，每個特徵之間是相互獨立的。這就是樸素貝葉斯樸素的"樸素"的地方。以下來自阮一峰的部落格貝葉斯理論：與其他統計學推斷方法截然不同。它建立在主觀判斷的基礎上，也就是說，你可以不

    從貝葉斯理論到影象馬爾科夫隨機場

    轉載自：http://blog.csdn.net/on2way/article/details/47307927（影象處理、機器學習的一些演算法） 本節主要介紹馬爾科夫的隨機場模型以及其用於影象的分割演算法中。基於馬爾科夫的隨機場（MRF）的影象分割是一種基於統計的影象

    貝葉斯分類器理論基礎

    似然 數學 style 模式 class 決策 基礎 post clas 貝葉斯分類器是一個相當寬泛的定義，它背後的數學理論根基是相當出名的貝葉斯決策論。 貝葉斯學派 貝葉斯決策論是在概率框架下進行決策的基本方法之一，更是統計模式識別的主要方法之一。 貝葉斯學派與頻率學派

    【機器學習基本理論】詳解最大似然估計（MLE）、最大後驗概率估計（MAP），以及貝葉斯公式的理解

    總結 ora 二次 判斷 天都 特性 以及 解釋 意思 【機器學習基本理論】詳解最大似然估計（MLE）、最大後驗概率估計（MAP），以及貝葉斯公式的理解 https://mp.csdn.net/postedit/81664644 最大似然估計（Maximum lik

    哈爾濱工業大學計算機學院-模式識別-課程總結-貝葉斯決策理論（一）

    風險 沒有 關系 有關 href 屬性 決策 分類 tps 一、貝葉斯決策理論 貝葉斯決策理論是解決分類問題的一種基本統計途徑，其出發點是利用概率的不同分類決策，與相應決策所付出的代價進行折中，它假設決策問題可以用概率的形式描述，並且假設所有有關的概率結構均已知。 二、各種

    貝葉斯決策理論之入門篇

    貝葉斯定理 首先是條件概率公式如下： P(A|B)=P(B|A)P(A)P(B)P(A|B)=P(B|A)P(A)P(B) 為了方便理解，可以參考下圖 已知兩個獨立事件AA和BB，那麼事件BB發生的前提下，事件AA發生的概率可以表示為P(A|B)

    機器學習系列文章：貝葉斯決策理論

    引言   訓練計算機使之根據資料進行推斷是統計學和電腦科學的交叉領域，其中統計學家提供有資料做推斷的數學框架，而電腦科學家研究推斷方法如果在計算機上有效地實現。    資料來自於一個不完全清楚的過程，將該過程作為隨機過程建模表明我們缺乏知識。也許該過程實際上是確定性的，但

    一步步教你輕鬆學樸素貝葉斯模型演算法理論篇1

    導讀：樸素貝葉斯模型是機器學習常用的模型演算法之一，其在文字分類方面簡單易行，且取得不錯的分類效果。所以很受歡迎，對於樸素貝葉斯的學習，本文首先介紹理論知識即樸素貝葉斯相關概念和公式推導，為了加深理解，採用一個維基百科上面性別分類例子進行形式化描述。然後通過程式設計實現樸素貝葉斯分類演算法，並在遮蔽社

    機器學習裡的貝葉斯基本理論、模型和演算法

    本文轉自中國人工智慧學會通訊第3期，已獲授權，特此感謝！ 歡迎人工智慧領域技術投稿、約稿、給文章糾錯，請傳送郵件至[email protected] 3月3日，中國人工智慧學會AIDL第二期【人工智慧前沿講習班】在北京中科院自動化所舉