簡介

◆ jieba庫是優秀的中文分詞第三方庫

◆ jieba庫和其他的第三方庫一樣，在cmd中使用pip install jieba 就可以進行安裝

◆ jieba最常用的函式只有一個，在下面我們會見到

jieba庫的三種模式及其函式

◆ 精確模式：jieba.lcut(s)    對文字s進行分詞

◆ 全域性模式：jieba.lcut(s,cut_all=True)   進行分詞之後存在冗餘

◆ 搜尋引擎模式：jieba.lcut_for_search(s)   同樣進行分詞之後存在冗餘

◆ jieba.add_words(w)    向分詞詞典中增加一個單詞

當然，最常用的還是jieba.lcut(s)，這個函式就基本上滿足平時的需求了

文字詞頻統計例項

（1）我們先對漢字文字進行分析（採用的例子是MOOC上的文字Hamlet，如果大家需要的話，我可以上傳）

# 對Hamlet進行詞頻分析
def gettext():
    #開啟檔案
    text=open("e:/python程式碼/hamlet.txt","r").read()
    text=text.lower()
    #將特殊符號全部換成空格
    for ch in '!"#$%^&*()+_-,./:;<>[email protected][]{}\|~':
        text=text.replace(ch,"")
    return text

hamlettxt=gettext()
#將字串按空格分割成列表
words=hamlettxt.split()
counts={}
#以字典形式統計每個單詞的出現次數
for word in words:
    counts[word]=counts.get(word,0)+1
items=list(counts.items())
#將列表按從大到小排序
items.sort(key=lambda x:x[1],reverse=True)
for i in range(10):
    word,count=items[i]
    print("{0:<10}{1:>5}".format(word,count))
# RUN->
# the        1137
# and         963
# to          736
# of          669
# you         546
# i           540
# a           527
# my          513
# hamlet      459
# in          435
 

（2）對中文詞頻進行分析（同樣用到的文字為三國演義，我們對三國演義中人物出現的順序進行統計）

# 對三國演義出場人物次數進行統計
import jieba
txt = open("sanguoyanyi.txt","r",encoding="utf-8").read()
words = jieba.lcut(txt)
new={}
#通過對程式的檢查，對程式進行完善
for word in words:
    if len(word)==1:
        continue
    elif word == "諸葛亮" or word == "孔明曰":
        rword="孔明"
    elif word == "關公" or word == "雲長":
        rword="關羽"
    elif word == "玄德" or word == "玄德曰":
        rword="劉備"
    elif word == "孟德" or word == "丞相":
        rword ="曹操"
    else:
        rword=word
    # 對原來的字典new中判斷是否有rword這個人，沒有就返回0，
    # 賦予rword鍵有就在原來rword所對應的值加1，並賦予rword鍵
    new[rword]=new.get(rword,0)+1
# 排除系統中不是人名的字
exc={"將軍","卻說","荊州","二人","不可","不能","如此"}
for word in exc:
    del new[word]
item=list(new.items())
item.sort(key=lambda x:x[1],reverse=True)
for i in range(10):
    word,count=item[i]
    print("{0:<10}{1:>5}".format(word,count))
# RUN->
# 曹操         1451
# 孔明         1383
# 劉備         1253
# 關羽          784
# 張飛          358
# 商議          344
# 如何          338
# 主公          331
# 軍士          317
# 呂布          300