先上效果圖：

資料來源：

分詞後的txt檔案：

分詞後的excel檔案：

原始碼：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
# *************************************
# author: suijr
# create: 2018/11/9 23:58
# filename: c.py
# usage
#
#
# *************************************
import sys

reload(sys)
sys.setdefaultencoding('utf-8')
import jieba.analyse
import xlwt

if __name__ == "__main__":
    wbk = xlwt.Workbook(encoding='ascii')
    sheet = wbk.add_sheet("wordcount")  # Excel單元格的名字
    word_lst = []
    key_list = []
    for line in open('test.txt'):  # test.txt是需要分詞統計的文件
        item = line.strip('\n\r').split("\t")  # 製表格切分
        tags = jieba.analyse.extract_tags(item[0])  # jieba分詞
        for t in tags:
            word_lst.append(t)
    word_dict = {}
    with open("wordCount.txt", "w")as wf2:  # 開啟檔案
        for item in word_lst:
            if item not in word_dict:  # 統計數量
                word_dict[item] = 1
            else:
                word_dict[item] += 1
        orderList = list(word_dict.values())
        orderList.sort(reverse=True)
        for i in range(len(orderList)):
            for key in word_dict:
                if word_dict[key] == orderList[i]:
                    wf2.write(key + ' ' + str(word_dict[key]) + '\n')  # 寫入txt檔案
                    key_list.append(key)
                    word_dict[key] = 0
    for i in range(len(key_list)):
        sheet.write(i, 1, label=orderList[i])
        sheet.write(i, 0, label=key_list[i])
    wbk.save('wordCount.xls')  # 儲存為wordCount.xls檔案
 

 

 

 

 

安裝jieba

pip install jieba

簡單用法

結巴分詞分為三種模式：精確模式（預設）、全模式和搜尋引擎模式，下面對這三種模式分別舉例介紹：

精確模式

import jieba
s = u'我想和女朋友一起去北京故宮博物院參觀和閒逛。'

cut = jieba.cut(s)

print '【Output】'
print cut
print ','.join(cut)

【Output】
<generator object cut at 0x7f8dbc0efc30>
我,想,和,女朋友,一起,去,北京故宮博物院,參觀,和,閒逛,。
 

可見分詞結果返回的是一個生成器（這對大資料量資料的分詞尤為重要）。

全模式

print '【Output】'
print ','.join(jieba.cut(s,cut_all = True))

【Output】
我,想,和,女朋友,朋友,一起,去,北京,北京故宮,北京故宮博物院,故宮,故宮博物院,博物,博物院,參觀,和,閒逛,,

可見全模式就是把文字分成儘可能多的詞。

搜尋引擎模式

print '【Output】'
print ','.join(jieba.cut_for_search(s))

【Output】
我,想,和,朋友,女朋友,一起,去,北京,故宮,博物,博物院,北京故宮博物院,參觀,和,閒逛,。
 

獲取詞性

每個詞都有其詞性，比如名詞、動詞、代詞等，結巴分詞的結果也可以帶上每個詞的詞性，要用到jieba.posseg，舉例如下：

import jieba.posseg as psg
print '【Output】'
print [(x.word,x.flag) for x in psg.cut(s)]

# 輸出：
'''
[(u'我', u'r'), (u'想', u'v'), (u'和', u'c'), (u'女朋友', u'n'), (u'一起', u'm'), 
(u'去', u'v'), (u'北京故宮博物院', u'ns'), (u'參觀', u'n'), (u'和', u'c'), (u'閒逛', u'v'), (u'。', u'x')]
'''

可以看到成功獲取到每個詞的詞性，這對於我們對分詞結果做進一步處理很有幫助，比如只想獲取分詞結果列表中的名詞，那麼就可以這樣過濾：

print [(x.word,x.flag) for x in psg.cut(s) if x.flag.startswith('n')]

# 輸出：
'''
[(u'女朋友', u'n'), (u'北京故宮博物院', u'ns'), (u'參觀', u'n')]
'''

至於詞性的每個字母分別表示什麼詞性，jieba分詞的結果可能有哪些詞性，就要去查閱詞性對照表了，本文結尾附了一份從網上搜到的詞性對照表，想了解更詳細的詞性分類資訊，可以到網上搜索"結巴分詞詞性對照"。

並行分詞

在文字資料量非常大的時候，為了提高分詞效率，開啟並行分詞就很有必要了。jieba支援並行分詞，基於python自帶的multiprocessing模組，但要注意的是在Windows環境下不支援。

用法：

# 開啟並行分詞模式，引數為併發執行的程序數
jieba.enable_parallel(5)

# 關閉並行分詞模式
jieba.disable_parallel()

舉例：開啟並行分詞模式對三體全集文字進行分詞

santi_text = open('./santi.txt').read()
print len(santi_text)

2681968

可以看到三體全集的資料量還是非常大的，有260多萬字節的長度。

jieba.enable_parallel(100)
santi_words = [x for x in jieba.cut(santi_text) if len(x) >= 2]
jieba.disable_parallel()

獲取出現頻率Top n的詞

還是以上面的三體全集文字為例，假如想要獲取分詞結果中出現頻率前20的詞列表，可以這樣獲取：

from collections import Counter
c = Counter(santi_words).most_common(20)
print c

# 輸出：
'''
[(u'\r\n', 21805), (u'一個', 3057), (u'沒有', 2128), (u'他們', 1690), (u'我們', 1550), 
(u'這個', 1357), (u'自己', 1347), (u'程心', 1320), (u'現在', 1273), (u'已經', 1259), 
(u'世界', 1243), (u'羅輯', 1189), (u'可能', 1177), (u'什麼', 1176), (u'看到', 1114), 
(u'知道', 1094), (u'地球', 951), (u'人類', 935), (u'太空', 930), (u'三體', 883)]
'''

可以看到結果中'\r\n'居然是出現頻率最高的詞，還有'一個'、'沒有'、'這個'等這種我們並不想要的無實際意義的詞，那麼就可以根據前面說的詞性來進行過濾，這個以後細講。

使用使用者字典提高分詞準確性

不使用使用者字典的分詞結果：

txt = u'歐陽建國是創新辦主任也是歡聚時代公司雲端計算方面的專家'
print ','.join(jieba.cut(txt))

歐陽,建國,是,創新,辦,主任,也,是,歡聚,時代,公司,雲,計算,方面,的,專家

使用使用者字典的分詞結果：

jieba.load_userdict('user_dict.txt')
print ','.join(jieba.cut(txt))

歐陽建國,是,創新辦,主任,也,是,歡聚時代,公司,雲端計算,方面,的,專家

可以看出使用使用者字典後分詞準確性大大提高。

注：其中user_dict.txt的內容如下：

歐陽建國 5

創新辦 5 i

歡聚時代 5

雲端計算 5

使用者字典每行一個詞，格式為：

詞語 詞頻 詞性

其中詞頻是一個數字，詞性為自定義的詞性，要注意的是詞頻數字和空格都要是半形的。

附：結巴分詞詞性對照表（按詞性英文首字母排序）

形容詞(1個一類，4個二類)

a 形容詞

ad 副形詞

an 名形詞

ag 形容詞性語素

al 形容詞性慣用語

區別詞(1個一類，2個二類)

b 區別詞

bl 區別詞性慣用語

連詞(1個一類，1個二類)

c 連詞

cc 並列連詞

副詞(1個一類)

d 副詞

嘆詞(1個一類)

e 嘆詞

方位詞(1個一類)

f 方位詞

字首(1個一類)

h 字首

字尾(1個一類)

k 字尾

數詞(1個一類，1個二類)

m 數詞

mq 數量詞

名詞 (1個一類，7個二類，5個三類)

名詞分為以下子類：

n 名詞

nr 人名

nr1 漢語姓氏

nr2 漢語名字

nrj 日語人名

nrf 音譯人名

ns 地名

nsf 音譯地名

nt 機構團體名

nz 其它專名

nl 名詞性慣用語

ng 名詞性語素

擬聲詞(1個一類)

o 擬聲詞

介詞(1個一類，2個二類)

p 介詞

pba 介詞“把”

pbei 介詞“被”

量詞(1個一類，2個二類)

q 量詞

qv 動量詞

qt 時量詞

代詞(1個一類，4個二類，6個三類)

r 代詞

rr 人稱代詞

rz 指示代詞

rzt 時間指示代詞

rzs 處所指示代詞

rzv 謂詞性指示代詞

ry 疑問代詞

ryt 時間疑問代詞

rys 處所疑問代詞

ryv 謂詞性疑問代詞

rg 代詞性語素

處所詞(1個一類)

s 處所詞

時間詞(1個一類，1個二類)

t 時間詞

tg 時間詞性語素

助詞(1個一類，15個二類)

u 助詞

uzhe 著

ule 了 嘍

uguo 過

ude1 的 底

ude2 地

ude3 得

usuo 所

udeng 等 等等 云云

uyy 一樣 一般 似的 般

udh 的話

uls 來講 來說 而言 說來

uzhi 之

ulian 連 （“連小學生都會”）

動詞(1個一類，9個二類)

v 動詞

vd 副動詞

vn 名動詞

vshi 動詞“是”

vyou 動詞“有”

vf 趨向動詞

vx 形式動詞

vi 不及物動詞（內動詞）

vl 動詞性慣用語

vg 動詞性語素

標點符號(1個一類，16個二類)

w 標點符號

wkz 左括號，全形：（ 〔 ［ ｛ 《 【 〖 〈 半形：( [ { <

wky 右括號，全形：） 〕 ］ ｝ 》 】 〗 〉 半形： ) ] { >

wyz 左引號，全形：“ ‘ 『

wyy 右引號，全形：” ’ 』

wj 句號，全形：。

ww 問號，全形：？ 半形：?

wt 歎號，全形：！ 半形：!

wd 逗號，全形：， 半形：,

wf 分號，全形：； 半形： ;

wn 頓號，全形：、

wm 冒號，全形：： 半形： :

ws 省略號，全形：…… …

wp 破折號，全形：—— －－ ——－ 半形：--- ----

wb 百分號千分號，全形：％ ‰ 半形：%

wh 單位符號，全形：￥ ＄ ￡ ° ℃ 半形：$

字串(1個一類，2個二類)

x 字串

xx 非語素字

xu 網址URL

語氣詞(1個一類)

y 語氣詞(delete yg)

狀態詞(1個一類)

z 狀態詞