1.安裝中文分詞器

由於本文是對中文文字進行分類，故需要用到中文分詞器，而結巴分詞則是Python支援較好的一款分詞器。

使用命令安裝：

pip3 install jieba3k

或者下載結巴分詞檔案【下載】

結巴分詞測試：

結巴分詞支援三種分詞模式：

• 精確模式，也是結巴分詞的預設模式，可以將句子以最精確的方式分開；
• 全模式，可以將句子中所有能夠組成詞語的詞分割開來，速度較快，但有些詞語並不正確；
• 搜尋引擎模式，該模式可以說是對精確模式的加深，即對精確模式產生的長詞進一步分割。

結巴分詞是基於Trie樹結構實現高效的詞圖掃描，採用動態規劃找最大概率路徑，找出基於詞頻的最大切分組合，對於詞典中不存在的詞，則採用基於漢字成詞能力的HMM模型，使用Viterbi演算法。

import jieba
seg = jieba.cut("這裡的櫻花真美麗，還是去武大看櫻花，聽說那裡的電腦科學學院還不錯",cut_all=True)
print('全模式：',"/".join(seg))
seg = jieba.cut("這裡的櫻花真美麗，還是去武大看櫻花，聽說那裡的電腦科學學院還不錯",cut_all=False)
print('精確模式：',"/".join(seg))
seg = jieba.cut_for_search("這裡的櫻花真美麗，還是去武大看櫻花，聽說那裡的電腦科學學院還不錯")
print('搜尋引擎模式：',"/".join(seg))

結巴分詞的分詞方法有兩種形式，一種是cut()，一種是cut_for_search()

cut()方法包含兩個引數，第一個是待切分的字串，第二個是切分的模式，True表示全模式，False表示精確模式

cut_for_search()方式只有一個引數，即待切分的字串

從上圖的輸出可以看出，全模式的分詞結果很多，有的詞還不能成詞，如"科學學"等；精確模式就相對要少很多，而且切分的也比較準確；搜尋引擎模式對精確模式的結果進一步切分，如“電腦科學”就被切分出了“計算”、“科學”等。

當然，結巴分詞除了分詞功能外，還有詞性標註、關鍵詞提取等功能，具體內容可以參考Python結巴分詞

2.樸素貝葉斯概念

概率論是許多機器學習演算法的基礎，前面說到的決策樹也是用概率來判斷資料屬於某一類別。樸素貝葉斯是貝葉斯決策理論的一部分，其分類的整個形式化過程只做最簡單最原始的假設。

貝葉斯決策理論的思想是給定兩個類別資料的統計引數，然後計算另給的資料點分別屬於這兩個類別的概率，選擇最大的概率作為該資料點的分類。

下面先來熟悉一下幾個公式：

先驗概率P(c)，是從已有訓練集中計算分類為c類樣本佔總樣本的概率；

條件概率P(x|c)，表示已知x在c中，從c中得到x的概率；

貝葉斯準則     

如果已知P(x|c)，那麼就可以計算出P(c|x)，該概率表示樣本x屬於類別c的概率

那麼，當一個樣本中有多個特徵（x1,x2,x3......xn）時，則有：

【這裡的每個特徵都是獨立的】

然後根據i個類別的概率大小，選擇概率最大的那個類別

2.樸素貝葉斯優缺點

優點：在資料較少的請胯下仍然有效，可以處理多類別問題；

缺點：對於輸入資料的準備方式較為敏感。

使用資料型別：標稱型資料

3.使用樸素貝葉斯進行文件分類

實驗文字：

negative

positive

#bayes.py
#coding=utf-8
def createVocabList(dataSet):
    vocabSet = set([])  #建立一個空集
    for document in dataSet:
        vocabSet = vocabSet | set(document) #建立兩個空集的並集
    return list(vocabSet)

def setOfWord2Vec(vocabList,inputSet):#詞集模型
    returnVec = [0]*len(vocabList)  #建立一個元素都是0的向量
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print('the word: %s is not in my Vocabulary!'%word)
    return returnVec

def bagOfWords2VecMN(vocabList,inputSet): #詞袋模型
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] +=1
    return returnVec

def trainNB0(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords)  #初始化概率
    p1Num = ones(numWords)
    p0Denom = 2.0 
    p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]   #向量相加
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = log(p1Num/p1Denom)  #對每個元素做除法
    p0Vect = log(p0Num/p0Denom)
    return p0Vect,p1Vect,pAbusive


def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
    p1 = sum(vec2Classify*p1Vec)+log(pClass1)  #元素對應相乘
    p0 = sum(vec2Classify*p0Vec)+log(1.0-pClass1)
    if p1>p0:
        return 1
    else:
        return 0

def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat = []
    for postinDoc in listOPosts:
        trainMat.append(setOfWord2Vec(myVocabList, postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat), array(listClasses))
    testEntry = ['love','my','dalmation']
    thisDoc = array(setOfWord2Vec(myVocabList, testEntry))
    print(testEntry,' classified as: ',classifyNB(thisDoc, p0V, p1V, pAb))
    testEntry = ['stupid','garbage']
    thisDoc = array(setOfWord2Vec(myVocabList, testEntry))
    print(testEntry,' classified as: ',classifyNB(thisDoc, p0V, p1V, pAb))

def textParse(bigString):
    import re
    import jieba
    listOfTokens = jieba.cut(bigString)
    return [tok for tok in listOfTokens if len(tok)>1]

def spamTest():
    import linecache
    docList = []
    classList = []
    fullText = []
    #linecache.clearcache() 清楚快取，當檔案有變更時
    #file = open('data/negative.txt')
    for i in range(1,26): #匯入並解析文字檔案
        linecache.clearcache()
        string = linecache.getline('data/negative.txt', i)
        wordList = textParse(string)
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(1)
        
        linecache.clearcache()
        string = linecache.getline('data/positive.txt', i)
        wordList = textParse(string)
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)
    
    print(docList)    
    vocabList = createVocabList(docList)
    trainingSet = list(range(50))
    testSet = []
    print(trainingSet)
    for i in range(10): #隨機構建訓練集
        randIndex = int(random.uniform(0,len(trainingSet)))
        print(randIndex)
        testSet.append(trainingSet[randIndex])
        del(trainingSet[randIndex])
        
    trainMat = []
    trainClasses = []
    for docIndex in trainingSet:
        trainMat.append(setOfWord2Vec(vocabList, docList[docIndex]))
        trainClasses.append(classList[docIndex])
    p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses) )
    print(pSpam)
    
    errorCount = 0
    for docIndex in testSet:#對測試集分類
        wordVector = setOfWord2Vec(vocabList, docList[docIndex])
        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:
            errorCount += 1
    print('the error rate is : ',float(errorCount)/len(testSet))
    return float(errorCount)/len(testSet)

#test.py
import bayes
rate = 0.0
for i in range(10):
    rate += bayes.spamTest()
print('rate = ',rate/10)