2. 程式人生 > >統計學習方法第四章極大似然估計的樸素貝葉斯分類方法例題4.1程式碼實踐

統計學習方法第四章極大似然估計的樸素貝葉斯分類方法例題4.1程式碼實踐

阿新 • • 發佈：2019-02-10
#-*- coding:utf-8 -*- from numpy import * #將書上的資料輸入，這裡懶得輸入那麼多個列表就用下array的轉置方法吧！就用這個方法吧0.0 def loadDataSet(): dataSet=[[1,1,1,1,1,2,2,2,2,2,3,3,3,3,3],['S','M','M','S','S','S','M','M','L','L','L','M','M','L','L']] labels=[-1,-1,1,1,-1,-1,-1,1,1,1,1,1,1,1,-1] return array(dataSet).transpose().tolist(),labels #這裡將labels中所有不同的類別及其類別的概率儲存在一個字典中方便呼叫，這個可擴充套件性也比較強，支援n分類(不侷限於書上的二分類)
def calc_label(labels): m=len(labels) uniqueLabel=set(labels) #所有不重複的類別 labelRate={} for label in uniqueLabel: labelRate[label]=labels.count(label)/float(m) return labelRate,list(uniqueLabel) #剛開始的uniqueLabel是set屬性不方便計算，這裡轉換成list #計算詞彙表，即所有的不重複的屬性值融合到一個列表中 def calcVocaulary(dataset): voca=set
() for content in dataset: voca = voca | set(content) return list(voca) #計算詞向量，在詞彙表中出現則在對應位置加1 def calcVector(voca,vector): n=len(voca) originVector=zeros(n) for word in vector: if word in voca: originVector[voca.index(word)] += 1 return array(originVector) #為方便後面向量相加計算這裡轉換成array屬性
#開始訓練這裡將不同類別及其類別對應的訓練好的極大似然估計向量儲存到字典中，同樣字典的key長度對應於所有不重複的標記，可支援n類標記 def Bayes(dataset,labels,uniqueLabel,voca): n=len(uniqueLabel);m=len(dataset) trainVecDict={} for i in range(n): labelVector=array(zeros(len(voca))) for j in range(m): if labels[j]== uniqueLabel[i]: labelVector += calcVector(voca,dataset[j]) #將相同類別的詞向量相加 labelVector /= float(labels.count(uniqueLabel[i])) #詞向量的和除對應該類別出現的頻率 trainVecDict[uniqueLabel[i]]=labelVector #將該類別及其訓練好的極大似然估計向量儲存到字典中 return trainVecDict #開始分類，結果即為類別概率最大的那個類別 def testFunction(testArray,voca,trainVecDict,labelRate): result = -1;maxRate = -inf for key in trainVecDict: singleLabelRate=1.0 for word in testArray: singleLabelRate *= trainVecDict[key][voca.index(word)] #這裡把測試集中出現的屬性到每個分類對應的向量中取出其概率相乘 if singleLabelRate*labelRate[key] > maxRate: result = key;maxRate =singleLabelRate*labelRate[key] return result dataSet,labels=loadDataSet() labelRate,uniqueLabel=calc_label(labels) voca=calcVocaulary(dataSet)

相關推薦

統計學習方法第四章極大似然估計的樸素貝葉斯分類方法例題4.1程式碼實踐

#-*- coding:utf-8 -*- from numpy import * #將書上的資料輸入，這裡懶得輸入那麼多個列表就用下array的轉置方法吧！就用這個方法吧0.0 def loadDataSet(): dataSet=[[1,1,1,1,1,2,2,2,2,2,3,3,3,3,3],

機器學習筆記（一）：極大似然估計與貝葉斯估計的區別

似然函式： 樣本資料的分佈和在引數為下的概率分佈的相似程度 極大似然估計：只要求出符合樣本資料分佈的最優引數即可，不需要考慮先驗。 貝葉斯估計   MAP（最大後驗估計）

模式識別四--最大似然估計與貝葉斯估計方法

文章轉自：http://www.kancloud.cn/digest/prandmethod/102846         之前學習了貝葉斯分類器的構造和使用，其中核心的部分是得到事件的先驗概率並計算出後驗概率 ，而事實上在實際使用中，很多時候無法得到這些完整的資訊，因此我們需要使用另外一個重要的工具——引

極大似然估計與貝葉斯定理

lan 說明 概率論 可能性 聯合 訓練樣本 對數 www. 條件 文章轉載自：https://blog.csdn.net/zengxiantao1994/article/details/72787849 極大似然估計-形象解釋看這篇文章：https://www.zhihu

極大似然估計與貝葉斯的理解

轉自http://blog.csdn.net/zengxiantao1994/article/details/72787849 極大似然估計         以前多次接觸過極大似然估計，但一直都不太明白到底什麼原理，最近在看貝葉斯分類，

伯努利模型的極大似然估計和貝葉斯估計

  定義隨機變數A為一次伯努利試驗的結果，AAA的取值為[0,1]，概率分佈為P(A)P(A)P(A):P(A=1)=θP(A=0)=1−θP(A=1)=\theta\\P(A=0)=1-\thetaP(A=1)=θP(A=0)=1−θ下面分別使用極大似然估計和

極大似然估計與貝葉斯估計

引言 在機器學習任務中，最最經常遇到的一個問題就是給定一組訓練樣本，學習到生成這組樣本的模型的引數，這也是統計學習的根本任務。我們知道統計學上分頻率學派和貝葉斯學派，那麼自然的，對這個問題的解決就有兩種模型，一種是頻率學派推崇的極大似然估計，一種是貝葉斯學派主

機器學習之樸素貝葉斯分類方法

本文轉載自http://holynull.leanote.com/post/Logistic-2 樸素貝葉斯分類方法 前言 樸素貝葉斯分類演算法是機器學習領域最基本的幾種演算法之一。但是對於作者這樣沒有什麼資料基礎的老碼農來說，理解起來確實有一些困難。所以撰寫此文幫

模式識別：最大似然估計與貝葉斯估計方法

之前學習了貝葉斯分類器的構造和使用，其中核心的部分是得到事件的先驗概率並計算出後驗概率 ，而事實上在實際使用中，很多時候無法得到這些完整的資訊，因此我們需要使用另外一個重要的工具——引數估計。 引數估

分類：樸素貝葉斯分類方法

       樸素貝葉斯分類方法的特點是基於概率方法實現分類，這在諸多的分類方法中比較少見。貝葉斯方法都有所耳聞，之所以稱為“樸素”貝葉斯方法，是因為在分類時，假定了“各變數間相互獨立”的條件，這個條件算是比較強的了，大大簡化了分類時的計算，但同時也丟失了一些

人工智慧初學- 1.2 最大似然估計及貝葉斯演算法

最大似然思想 最大似然法是一種具有理論性的引數估計方法。         基本思想是：當從模型總體隨機抽取n組樣本觀測值後，最合理的引數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。一般步驟包括： 寫出似然函式 對似然

最大似然估計、貝葉斯估計、最大後驗估計理論對比

本文要總結的是3種估計的原理、估計與目標函式之間的關係。這三種估計放在一起讓我暈頭轉向了好久，看知乎，看教材，有了以下理解。以下全部是個人看書後的理解，如有理解錯誤的地方，請指正，吾將感激不盡。 來自教材《深度學習》5.4-5.6… 關於頻率派和貝葉斯派：頻

第五篇：樸素貝葉斯分類演算法原理分析與程式碼實現

1 #==================================== 2 # 輸入: 3 # 空 4 # 輸出: 5 # postingList: 文件列表 6 # classVec: 分類標籤列表 7 #=

統計學習方法四 樸素貝葉斯分類

和數 com .com 條件概率 統計學習 http 模型 適用場景 es2017 樸素貝葉斯分類 1，基本概念 　　　　 2，算法流程 　　　關鍵點：理解先驗概率，條件概率，最大後驗概率，下面是以極大似然估計的 　　 　　 　　 3，算法改進（貝葉斯估計） 　　　上述用極

機器學習實戰第四章——樸素貝葉斯分類(原始碼解析)

樸素貝葉斯分類 #coding=utf-8 ''' Created on 2016年1月9日 @author: admin ''' from numpy import * # 載入資料集函式 def loadDataSet(): # 定義郵件列表 p

《機器學習西瓜書》學習筆記——第七章_貝葉斯分類器_樸素貝葉斯分類器

樸素：特徵條件獨立；貝葉斯：基於貝葉斯定理。 樸素貝葉斯是經典的機器學習演算法之一，也基於概率論的分類演算法，屬於監督學習的生成模型。樸素貝葉斯原理簡單，也很容易實現，多用於文字分類，比如垃圾郵件過濾。 1.演算法思想——基於概率的預測 貝葉斯決策論是概率框架下

生成式學習演算法（四）之----樸素貝葉斯分類器

樸素貝葉斯分類器（演算法）與樸素貝葉斯假設 在高斯判別分析模型（GDA）中，特徵向量$ x$ 是連續實值向量。現在我們來討論分量$ x_j$ 取離散值的貝葉斯樸素貝葉斯模型。 在文字分類問題中，有一個問題是分出一個郵件是（\(y=1\) ）或者不是（\(y=1\) ）垃圾郵件。我們的訓練資料集是一些標好是否是

機器學習系列——樸素貝葉斯分類器（二）

表示 -h line log ima 條件 code 樸素貝葉斯 spa 貝葉斯定理： 其中： 表示事件B已經發生的前提下，事件A發生的概率，叫做事件B發生下事件A的條件概率。其基本求解公式為：。 機器學習系列——樸素貝葉斯分類器（二）

機器學習--樸素貝葉斯分類，以及拉普拉斯校準

機器學習算法 我們 earch lov 單詞 標註 樸素貝葉斯分類 images 劃分 原文鏈接：http://chant00.com/2017/09/18/%E8%B4%9D%E5%8F%B6%E6%96%AF/

機器學習知識點查漏補缺（樸素貝葉斯分類）

平滑 http 運算 貝葉斯公式 -s 目標 bubuko 思想 指數 一、基本模型 樸素貝葉斯分類模型的基本思想就是貝葉斯公式，對以特征為條件的各類別的後驗概率。 貝葉斯公式如下： 對標樸素貝葉斯分類模型的公式如下： 分子中的第二項為每個類別的概率（實際運算即頻