簡介 NaïveBayes演算法，又叫樸素貝葉斯演算法，樸素：特徵條件獨立；貝葉斯：基於貝葉斯定理。屬於監督學習的生成模型，實現簡單，沒有迭代，並有堅實的數學理論（即貝葉斯定理）作為支撐。在大量樣本下會有較好的表現，不適用於輸入向量的特徵條件有關聯的場景。

基本思想 (1)病人分類的例子 某個醫院早上收了六個門診病人，如下表：

症狀　　職業　　　疾病  ——————————————————  打噴嚏　護士　　　感冒  打噴嚏　農夫　　　過敏  頭痛　　建築工人　腦震盪  頭痛　　建築工人　感冒  打噴嚏　教師　　　感冒  頭痛　　教師　　　腦震盪

現在又來了第七個病人，是一個打噴嚏的建築工人。請問他患上感冒的概率有多大？  根據貝葉斯定理：

P(A|B) = P(B|A) P(A) / P(B) 可得

P(感冒|打噴嚏x建築工人)  = P(打噴嚏x建築工人|感冒) x P(感冒) / P(打噴嚏x建築工人)

假定”打噴嚏”和”建築工人”這兩個特徵是獨立的，因此，上面的等式就變成了

P(感冒|打噴嚏x建築工人)  = P(打噴嚏|感冒) x P(建築工人|感冒) x P(感冒) / P(打噴嚏) x P(建築工人) 這是可以計算的。

P(感冒|打噴嚏x建築工人)  = 0.66 x 0.33 x 0.5 / 0.5 x 0.33  = 0.66 因此，這個打噴嚏的建築工人，有66%的概率是得了感冒。同理，可以計算這個病人患上過敏或腦震盪的概率。比較這幾個概率，就可以知道他最可能得什麼病。

這就是貝葉斯分類器的基本方法：在統計資料的基礎上，依據某些特徵，計算各個類別的概率，從而實現分類。

(2)樸素貝葉斯分類器的公式 假設某個體有n項特徵（Feature），分別為F1、F2、…、Fn。現有m個類別（Category），分別為C1、C2、…、Cm。貝葉斯分類器就是計算出概率最大的那個分類，也就是求下面這個算式的最大值：

P(C|F1F2...Fn) = P(F1F2...Fn|C)P(C) / P(F1F2...Fn) 由於 P(F1F2…Fn) 對於所有的類別都是相同的，可以省略，問題就變成了求

P(F1F2...Fn|C)P(C) 的最大值。  樸素貝葉斯分類器則是更進一步，假設所有特徵都彼此獨立，因此

P(F1F2...Fn|C)P(C) = P(F1|C)P(F2|C) ... P(Fn|C)P(C) 上式等號右邊的每一項，都可以從統計資料中得到，由此就可以計算出每個類別對應的概率，從而找出最大概率的那個類。  雖然”所有特徵彼此獨立”這個假設，在現實中不太可能成立，但是它可以大大簡化計算，而且有研究表明對分類結果的準確性影響不大。

(3)拉普拉斯平滑（Laplace smoothing） 也就是引數為1時的貝葉斯估計，當某個分量在總樣本某個分類中（觀察樣本庫/訓練集）從沒出現過，會導致整個例項的計算結果為0。為了解決這個問題，使用拉普拉斯平滑/加1平滑進行處理。  它的思想非常簡單，就是對先驗概率的分子（劃分的計數）加1，分母加上類別數；對條件概率分子加1，分母加上對應特徵的可能取值數量。這樣在解決零概率問題的同時，也保證了概率和依然為1。

eg：假設在文字分類中，有3個類，C1、C2、C3，在指定的訓練樣本中，某個詞語F1，在各個類中觀測計數分別為=0，990，10，即概率為P(F1/C1)=0，P(F1/C2)=0.99，P(F1/C3)=0.01，對這三個量使用拉普拉斯平滑的計算方法如下：  1/1003 = 0.001，991/1003=0.988，11/1003=0.011

實際應用場景 文字分類 垃圾郵件過濾 病人分類 拼寫檢查 樸素貝葉斯模型 樸素貝葉斯常用的三個模型有：

高斯模型：處理特徵是連續型變數的情況 多項式模型：最常見，要求特徵是離散資料 伯努利模型：要求特徵是離散的，且為布林型別，即true和false，或者1和0 程式碼實現 基於多項式模型的樸素貝葉斯演算法（在github獲取）

# encoding=utf-8

import pandas as pd import numpy as np import cv2 import time

from sklearn.cross_validation import train_test_split from sklearn.metrics import accuracy_score

# 二值化處理 def binaryzation(img):     cv_img = img.astype(np.uint8)  # 型別轉化成Numpy中的uint8型     cv2.threshold(cv_img, 50, 1, cv2.THRESH_BINARY_INV, cv_img)  # 大於50的值賦值為0,不然賦值為1     return cv_img

# 訓練，計算出先驗概率和條件概率 def Train(trainset, train_labels):     prior_probability = np.zeros(class_num)                         # 先驗概率     conditional_probability = np.zeros((class_num, feature_len, 2))   # 條件概率

    #  計算     for i in range(len(train_labels)):         img = binaryzation(trainset[i])     # 圖片二值化，讓每一個特徵都只有0，1兩種取值         label = train_labels[i]

        prior_probability[label] += 1

        for j in range(feature_len):             conditional_probability[label][j][img[j]] += 1

    # 將條件概率歸到[1,10001]     for i in range(class_num):         for j in range(feature_len):

            # 經過二值化後圖像只有0，1兩種取值             pix_0 = conditional_probability[i][j][0]             pix_1 = conditional_probability[i][j][1]

            # 計算0，1畫素點對應的條件概率             probalility_0 = (float(pix_0)/float(pix_0+pix_1))*10000 + 1             probalility_1 = (float(pix_1)/float(pix_0+pix_1))*10000 + 1

            conditional_probability[i][j][0] = probalility_0             conditional_probability[i][j][1] = probalility_1

    return prior_probability, conditional_probability

# 計算概率 def calculate_probability(img, label):     probability = int(prior_probability[label])

    for j in range(feature_len):         probability *= int(conditional_probability[label][j][img[j]])

    return probability

# 預測 def Predict(testset, prior_probability, conditional_probability):     predict = []

    # 對每個輸入的x，將後驗概率最大的類作為x的類輸出     for img in testset:

        img = binaryzation(img)  # 影象二值化

        max_label = 0         max_probability = calculate_probability(img, 0)

        for j in range(1, class_num):             probability = calculate_probability(img, j)

            if max_probability < probability:                 max_label = j                 max_probability = probability

        predict.append(max_label)

    return np.array(predict)

class_num = 10  # MINST資料集有10種labels，分別是“0,1,2,3,4,5,6,7,8,9” feature_len = 784  # MINST資料集每個image有28*28=784個特徵（pixels）

if __name__ == '__main__':

    print("Start read data")     time_1 = time.time()

    raw_data = pd.read_csv('../data/train.csv', header=0)  # 讀取csv資料     data = raw_data.values

    features = data[::, 1::]     labels = data[::, 0]

    # 避免過擬合，採用交叉驗證，隨機選取33%資料作為測試集，剩餘為訓練集     train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size=0.33, random_state=0)

    time_2 = time.time()     print('read data cost %f seconds' % (time_2 - time_1))

    print('Start training')     prior_probability, conditional_probability = Train(train_features, train_labels)     time_3 = time.time()     print('training cost %f seconds' % (time_3 - time_2))

    print('Start predicting')     test_predict = Predict(test_features, prior_probability, conditional_probability)     time_4 = time.time()     print('predicting cost %f seconds' % (time_4 - time_3))

    score = accuracy_score(test_labels, test_predict)     print("The accruacy score is %f" % score) 測試資料集為MNIST資料集，獲取地址train.csv

執行結果