1. 程式人生 > >通俗易懂機器學習——樸素貝葉斯演算法

通俗易懂機器學習——樸素貝葉斯演算法

本文將敘述樸素貝葉斯演算法的來龍去脈,從數學推導到計算演練到程式設計實戰

文章內容有借鑑網路資料、李航《統計學習方法》、吳軍《數學之美》加以整理及補充

2、條件概率
這裡寫圖片描述

3、聯合分佈
這裡寫圖片描述

樸素貝葉斯演算法
樸素貝葉斯法是基於貝葉斯定理和特徵條件獨立假設的
分類方法。給定訓練資料集,首先基於特徵條件獨立假設學習
輸入/輸出的聯合概率分佈,然後根據此模型,對給定的輸入x,
利用貝葉斯定理求出後驗概率最大的輸出y。
樸素貝葉斯法屬於生成方法,關鍵在於找到輸入輸出的聯合分
布,或者說確定聯合分佈的引數也就確定了聯合分佈。在特徵條
件獨立的假設下,對每一個特徵通過頻率求解其條件概率分佈,
這些條件概率分佈最終用於求解後驗概率。

推導約定:
這裡寫圖片描述

樸素貝葉斯演算法通過訓練資料集學習聯合概率分佈P(X|Y) ,具體地,學習先驗概率分佈
這裡寫圖片描述
以及條件概率分佈
這裡寫圖片描述

樸素貝葉斯演算法對條件概率分佈作了條件獨立性的假設,具體的,條件獨立性假設是
這裡寫圖片描述
這裡寫圖片描述

演算法求值步驟
這裡寫圖片描述

這裡有個地方要注意,當新樣本的特徵值不在訓練總樣本集中時,計算
這裡寫圖片描述
的值將為0,將無法對新樣本進行分類
所以加入拉普拉斯平滑
這裡寫圖片描述

沒有例子光有公式還是無法理解演算法精髓??那就來一波例子吧
1、
這裡寫圖片描述

這裡寫圖片描述

2、高斯樸素貝葉斯計算

這裡寫圖片描述
這裡寫圖片描述