1. 程式人生 > >樸素貝葉斯的三個常用模型:高斯、多項式、伯努利

樸素貝葉斯的三個常用模型:高斯、多項式、伯努利

樸素貝葉斯是一個很不錯的分類器,在使用樸素貝葉斯分類器劃分郵件有關於樸素貝葉斯的簡單介紹。

一個樣本有n個特徵,分別用x1,x2,,xnx1,x2,…,xn表示,將其劃分到類ykyk的可能性P(yk|x1,x2,,xn)P(yk|x1,x2,…,xn)為:

P(yk|x1,x2,,xn)=P(yk)ni=1P(xi|yk)P(yk|x1,x2,…,xn)=P(yk)∏i=1nP(xi|yk)

上式中等號右側的各個值可以通過訓練得到。根據上面的公式可以求的某個資料屬於各個分類的可能性(這些可能性之和不一定是1),該資料應該屬於具有最大可能性的分類中。

一般來說,如果一個樣本沒有特徵x

ixi,那麼P(xi|yk)P(xi|yk)將不參與計算。不過下面的伯努利模型除外。

以上是樸素貝葉斯的最基本的內容。

高斯模型

有些特徵可能是連續型變數,比如說人的身高,物體的長度,這些特徵可以轉換成離散型的值,比如如果身高在160cm以下,特徵值為1;在160cm和170cm之間,特徵值為2;在170cm之上,特徵值為3。也可以這樣轉換,將身高轉換為3個特徵,分別是f1、f2、f3,如果身高是160cm以下,這三個特徵的值分別是1、0、0,若身高在170cm之上,這三個特徵的值分別是0、0、1。不過這些方式都不夠細膩,高斯模型可以解決這個問題。高斯模型假設這些一個特徵的所有屬於某個類別的觀測值符合高斯分佈,也就是:

P(xi|yk)=12πσ2ykexp((x

相關推薦

樸素常用模型多項式

樸素貝葉斯是一個很不錯的分類器,在使用樸素貝葉斯分類器劃分郵件有關於樸素貝葉斯的簡單介紹。 若一個樣本有n個特徵,分別用x1,x2,…,xnx1,x2,…,xn表示,將其劃分到類ykyk的可能性P(yk|x1,x2,…,xn)P(yk|x1,x2,…,xn)為:

詳細說說php的常用框架thinkphp yaf laravel

不聊誰優誰劣,只是談談用過的幾個框架的感受:        1.  ThinkPHP 文件全中文,易上手,對於配置環境沒什麼要求。當年上學的時候結合sae做個小站上個活動頁,很快搞定。可想加點擴充套件功能的時候就很懵,一是百度不到答案,二是配置起來比較麻煩。 2.  Ya

第十一次作業——正太(),多項式

1.使用樸素貝葉斯模型對iris資料集進行花分類 嘗試使用3種不同型別的樸素貝葉斯: 高斯分佈型 多項式型 伯努利型 2.使用sklearn.model_selection.cross_val_score(),對模型進行驗證。 垃圾郵件分類 資料準備: 用csv讀取郵件資料

NB樸素理論推導與種常見模型

轉自:http://www.tuicool.com/articles/zEJzIbR 樸素貝葉斯(Naive Bayes)是一種簡單的分類演算法,它的經典應用案例為人所熟知:文字分類(如垃圾郵件過濾)。很多教材都從這些案例出發,本文就不重複這些內容了,而把重點放在理論推導(其實很淺顯,別被“理論”嚇到),三

機器學習之(1)——學習樸素-模型理論+python程式碼程式設計例項

本文來源於: 部落格:http://blog.csdn.net/u012162613/article/details/48323777 http://blog.csdn.net/zhihaoma/article/details/51052064  感謝作者的分享,非常感謝

系統學習樸素-模型

概率論相關數學公式 條件概率: 相互獨立事件: 貝葉斯定理: 樸素貝葉斯分類器 眾所周知,樸素貝葉斯是一種簡單但是非常強大的線性分類器。它在垃圾郵件分類,疾病診斷中都取得了很大的成功。它只所以稱為樸素,是因為它假設特徵之間是相互獨立的,但是在現實生活中

機器學習筆記--樸素 &模型&sklearn應用

樸素貝葉斯 Naive Bayes 貝葉斯定理 根據條件概率公式: 在B條件下A發生的概率: P(A∣B)=P(AB)P(B) 在A條件下B發生的概率: P(B∣A)=P(AB)P(A) 則 P(A∣B)P(B)=P(AB)=P(B∣A)P(A)

我理解的樸素模型【轉】

package 規則 dia div href 重要 源代碼 容易 計算 轉自:http://www.cnblogs.com/nxld/p/6607943.html 我想說:“任何事件都是條件概率。”為什麽呢?因為我認為,任何事件的發生都不是完全偶然的,它都會以其他事件的

【黎明傳數==>機器學習速成寶典】模型篇05——樸素【Naive Bayes】(附python代碼)

pytho res tex 機器學習 樸素貝葉斯 spa 什麽 之一 類別 目錄   先驗概率與後驗概率   什麽是樸素貝葉斯   模型的三個基本要素   構造kd樹   kd樹的最近鄰搜索   kd樹的k近鄰搜索   Python代碼(sklearn庫) 先

【Spark MLlib速成寶典】模型篇04樸素【Naive Bayes】(Python版)

width pla evaluate 特征 mem order 一個數 ble same 目錄   樸素貝葉斯原理   樸素貝葉斯代碼(Spark Python) 樸素貝葉斯原理   詳見博文:http://www.cnblogs.com/itmor

機器學習實戰(樸素NB(Naive Bayes)

目錄 0. 前言 1. 條件概率 2. 樸素貝葉斯(Naive Bayes) 3. 樸素貝葉斯應用於文字分類 4. 實戰案例 4.1. 垃圾郵件分類案例 學習完機器學習實戰的樸素貝葉斯,簡單的做個筆記。文中

樸素分類--多項式模型

本文來自於百度文庫https://wenku.baidu.com/view/70c98707abea998fcc22bcd126fff705cc175c6b.html 文中公式多有問題,還需要重新編輯,但整體而言不影響理解。 樸素貝葉斯分類--多項式模型   1. 多項式模

學習筆記(七)樸素在Web安全中的六應用

一、檢測Web異常操作        1.資料蒐集:一樣        2.特徵化             使用詞集模型,統計全部操作命令,去重後形

生成模型--判別+樸素

分類演算法: 判別學習演算法(logistic二元分類器,softmax分類器..)特點:直接去求條件概率分佈 p(y|x; θ), 也表示為 hθ(x),重點是去擬合引數θ 生成學習算(中心思想是直接去求p(y|x; θ)很難,然後轉而去求聯合分佈 p(x,y), 然後利用貝葉斯

《機器學習實戰》筆記(樸素

4.1 基於貝葉斯決策理論的分類方法 樸素貝葉斯是貝葉斯決策理論的一部分,貝葉斯決策理論的的核心思想,即選擇具有最高概率的決策。若p1(x,y)和p2(x,y)分別代表資料點(x,y)屬於類別1,2的概率,則判斷新資料點(x,y)屬於哪一類別的規則是: 4.3 使用條件概率來分類

sklearn中的樸素模型及其應用

1.使用樸素貝葉斯模型對iris資料集進行花分類 嘗試使用3種不同型別的樸素貝葉斯: 高斯分佈型 多項式型 伯努利型 2.使用sklearn.model_selection.cross_val_score(),對模型進行驗證 from sklearn.datasets import load

第11次作業 sklearn中的樸素模型及其應用

1.使用樸素貝葉斯模型對iris資料集進行花分類 嘗試使用3種不同型別的樸素貝葉斯: 高斯分佈型 多項式型 伯努利型 from sklearn import datasets iris=datasets.load_iris() from sklearn.naive_bayes import G

第四章樸素法----生成模型

4.1樸素貝葉斯的學習與分類 4.1.1基本方法 聯合概率分佈P(X,Y),獨立同步產生 先驗概率分佈P(Y=ck),k=1,2,…K 條件概率分佈P(X=x|Y=ck)=P(X1=x1,X2=x2,|Y=ck),k=1,2…K,(具有指數級的引數) 因此對概率分佈做獨立同分布假設: P(X

()樸素運用——文字分類

1、貝葉斯理論 當我們有樣本(包含特徵和類別)的時候,我們非常容易通過 p(x)p(y|x)=p(y)p(x|y) p ( x

2.常用演算法(推導) 演算法分類,演算法原理,演算法設計,推導---SVM,DTree,樸素,線性迴歸等;

演算法: 以wx+b=0為基礎的演算法: 感知機->誤分點(xi,yi | i->m)到wx+b的距離和最小,求最優解; 支援向量機->最大間隔; 邏輯迴歸->將wx+b的值作為邏輯函式輸入,進行分類; 線性迴歸->勾畫線性曲線,對