前言

pip install thulac        #安裝清華大學的thulac中文詞法分析包
pip install jieba          #安裝最好的中文詞法分析包jieba

#! python3
# -*- coding: utf-8 -*-
import jieba    #匯入結巴模組
from 
 
collections import Counter     #匯入collections模組的Counter類
#對文字檔案txt進行分詞，並統計詞頻，再顯示結果
def get_words(txt):
#S1 對文字進行分詞
list = jieba.cut(txt)   #結巴模組的cut函式用於中文分詞
#S2 統計詞頻
c = Counter()   #建立空的Counter計數器，關於counter的知識可參考本部落格的另一篇博文，位於python資料夾內
for x in list:  #分詞結果中迴圈提取詞語
if len(x) > 1 and x != '\r\n':  
 
#略掉只有一個字的詞語和回車、換行
c[x] += 1   #統計每個單詞的計數值
#S3 將結果視覺化
print('常用詞頻統計結果')
for(k,v) in c.most_common(100):     #只取出現值最高的前100個詞語
print('%s%s %s  %d' % ('  '*(5-len(k)), k, '*'*int(v/3), v))    #前5個位置列印空格或詞語，有右對齊的效果
#讀取某文字檔案(預設uft-8格式)
with open('C:\\Python36\\test.txt','r') as f :
    txt = f.read()
#對該檔案進行分詞，並統計詞頻，顯示結果
get_words(txt)