整體介紹

下篇博文將介紹將任意中文文字生成中文詞雲

同時如果你希望使用其它分詞工具,那麼你可以留意我之後的部落格,我會在接下來的日子裡釋出其他有關內容.

三種分詞模式與一個引數##

以下程式碼主要來自於jieba的github,你可以在github下載該原始碼

import jieba

seg_list = jieba.cut("我來到北京清華大學", cut_all=True, HMM=False)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我來到北京清華大學", cut_all=False, HMM=True)
print("Default Mode: " + "/ ".join(seg_list))  # 預設模式

seg_list = jieba.cut("他來到了網易杭研大廈", HMM=False)
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明碩士畢業於中國科學院計算所，後在日本京都大學深造", HMM=False)  # 搜尋引擎模式
print(", ".join(seg_list))

# jieba.cut的預設引數只有三個,jieba原始碼如下
# cut(self, sentence, cut_all=False, HMM=True)
# 分別為:輸入文字 是否為全模式分詞 與是否開啟HMM進行中文分詞
 

關鍵詞提取

from os import path
import jieba.analyse as analyse

d = path.dirname(__file__)

text_path = 'txt/lz.txt' #設定要分析的文字路徑
text = open(path.join(d, text_path)).read()

for key in analyse.extract_tags(text,50, withWeight=False):
# 使用jieba.analyse.extract_tags()引數提取關鍵字,預設引數為50
    print key.encode('utf-8')
    # 設定輸出編碼為utf-8不然在因為win下控制檯預設中文字符集為gbk,所以會出現亂碼
    # 當withWeight=True時,將會返回number型別的一個權重值(TF-IDF)
 

執行結果如圖所示,但是同樣的我們也發現了一些問題,比如:
問題一:
分詞錯誤,在執行結果中中"路明非"(龍族男主)被分成了"路明"和"明非"啷箇中文詞語,這是因為jieba的詞庫中並不含有該詞的原因,同樣的原因以及jieba詞庫比較老,因而在許多文字分詞時都會產生這種情況,而這個問題我們將在第五個模組"三種可以讓分詞更準確的方法"解決
問題二:
出現非實意詞語,無論在哪種語言中,都會存在大量的非實意單詞,這一類詞雲我們需要在進行中文分詞時進行去除停用詞,這個問題將在下一個模組中解決

中文歧義測試與去除停用詞##

本段程式碼主要來自於《機器學習實踐指南（第二版））》，其作者為麥好，ps：這是一本好書

import jieba
TestStr = "2010年底部隊友誼籃球賽結束"
# 因為在漢語中沒有空格進行詞語的分隔，所以經常會出現中文歧義，比如年底-底部-部隊-隊友
# jieba 預設啟用了HMM（隱馬爾科夫模型）進行中文分詞，實際效果不錯

seg_list = jieba.cut(TestStr, cut_all=True)
print "Full Mode:", "/ ".join(seg_list) # 全模式

seg_list = jieba.cut(TestStr, cut_all=False)
print "Default Mode:", "/ ".join(seg_list) # 預設模式
# 在預設模式下有對中文歧義有較好的分類方式

seg_list = jieba.cut_for_search(TestStr) # 搜尋引擎模式
print "cut for Search","/".join(seg_list)

去除文字中的停用詞

# - * - coding: utf - 8 -*-
#
# 作者：田豐(FontTian)
# 建立時間:'2017/5/27'
# 郵箱：[email protected]
# CSDN：http://blog.csdn.net/fontthrone

import sys
import jieba
from os import path

d = path.dirname(__file__)
stopwords_path = 'stopwords\stopwords1893.txt' # 停用詞詞表

text_path = 'txt/lz.txt' #設定要分析的文字路徑
text = open(path.join(d, text_path)).read()

def jiebaclearText(text):
    mywordlist = []
    seg_list = jieba.cut(text, cut_all=False)
    liststr="/ ".join(seg_list)
    f_stop = open(stopwords_path)
    try:
        f_stop_text = f_stop.read( )
        f_stop_text=unicode(f_stop_text,'utf-8')
    finally:
        f_stop.close( )
    f_stop_seg_list=f_stop_text.split('\n')
    for myword in liststr.split('/'):
        if not(myword.strip() in f_stop_seg_list) and len(myword.strip())>1:
            mywordlist.append(myword)
    return ''.join(mywordlist)

text1 = jiebaclearText(text)
print text1

三種可以讓分詞更準確的方法##

方案一，在jieba中新增中文詞語：
這種方法可以有效的解決之前龍族男主"路明非"被分為"路明"和"明非"兩個詞的情況

#這個只需要在原始碼中加入一個語句即可
import sys
import jieba
from os import path

d = path.dirname(__file__)
stopwords_path = 'stopwords\stopwords1893.txt' # 停用詞詞表

jieba.add_word('路明非')
# 新增的自定義中文語句的程式碼在這裡
# 新增的自定義中文語句的程式碼在這裡
# 新增的自定義中文語句的程式碼在這裡

text_path = 'txt/lz.txt' #設定要分析的文字路徑
text = open(path.join(d, text_path)).read()

def jiebaclearText(text):
    mywordlist = []
    seg_list = jieba.cut(text, cut_all=False)
    liststr="/ ".join(seg_list)
    f_stop = open(stopwords_path)
    try:
        f_stop_text = f_stop.read( )
        f_stop_text=unicode(f_stop_text,'utf-8')
    finally:
        f_stop.close( )
    f_stop_seg_list=f_stop_text.split('\n')
    for myword in liststr.split('/'):
        if not(myword.strip() in f_stop_seg_list) and len(myword.strip())>1:
            mywordlist.append(myword)
    return ''.join(mywordlist)

text1 = jiebaclearText(text)
print text1

執行效果如下:

方案二,新增自定義詞庫:
下面的程式碼主要來自於jieba的github原始碼,你可以在github下載該例子

#encoding=utf-8
from __future__ import print_function, unicode_literals
import sys
sys.path.append("../")
import jieba
jieba.load_userdict("userdict.txt")
# jieba採用延遲載入，"import jieba"不會立即觸發詞典的載入，一旦有必要才開始載入詞典構建trie。如果你想手工初始jieba，也可以手動初始化。示例如下:
# import jieba
# jieba.initialize() #手動初始化（可選）
# 在0.28之前的版本是不能指定主詞典的路徑的，有了延遲載入機制後，你可以改變主詞典的路徑:
# 注意使用者詞典為主詞典即優先考慮的詞典,原詞典此時變為非主詞典
# jieba.set_dictionary('data/dict.txt.big')

import jieba.posseg as pseg

test_sent = (
"李小福是創新辦主任也是雲端計算方面的專家; 什麼是八一雙鹿\n"
"例如我輸入一個帶“韓玉賞鑑”的標題，在自定義詞庫中也增加了此詞為N類\n"
"「臺中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。"
)
words = jieba.cut(test_sent)
print('/'.join(words))

print("="*40)

result = pseg.cut(test_sent)
# pseg.cut 切分,並顯示詞性
# 下面是userdict.txt的內容,如果不加入這個詞庫,那麼在執行結果中,雲端計算,創新辦等詞都將無法識別
'''
雲端計算 5
李小福 2 nr
創新辦 3 i
easy_install 3 eng
好用 300
韓玉賞鑑 3 nz
八一雙鹿 3 nz
臺中
凱特琳 nz
Edu Trust認證 2000
'''

下面這段程式碼主要來自於jieba的github,你可以在github下載該原始碼

print('='*40)
print('新增自定義詞典/調整詞典')
print('-'*40)

print('/'.join(jieba.cut('如果放到post中將出錯。', HMM=False)))
#如果/放到/post/中將/出錯/。
# 調整詞典使 中將 變為中/將
print(jieba.suggest_freq(('中', '將'), True))
#494
print('/'.join(jieba.cut('如果放到post中將出錯。', HMM=False)))
#如果/放到/post/中/將/出錯/。
print('/'.join(jieba.cut('「臺中」正確應該不會被切開', HMM=False)))
#「/臺/中/」/正確/應該/不會/被/切開
print(jieba.suggest_freq('臺中', True))
print(jieba.suggest_freq('臺中', True))
#69
# 調整詞典使 臺中 不被分詞為臺/中
print('/'.join(jieba.cut('「臺中」正確應該不會被切開', HMM=False)))
#「/臺中/」/正確/應該/不會/被/切開

平行計算

下面這段程式碼主要來自於jieba的github,你可以在github下載該原始碼

原理：將目標文字按行分隔後，把各行文字分配到多個python程序並行分詞，然後歸併結果，從而獲得分詞速度的可觀提升

基於python自帶的multiprocessing模組，目前暫不支援windows

import sys
import time
sys.path.append("../../")
import jieba

jieba.enable_parallel() # 關閉並行分詞
jieba.enable_parallel(4) # 開啟並行分詞模式，引數為並行程序數 

url = sys.argv[1]
content = open(url,"rb").read()
t1 = time.time()
words = "/ ".join(jieba.cut(content))

t2 = time.time()
tm_cost = t2-t1

log_f = open("1.log","wb")
log_f.write(words.encode('utf-8'))

print('speed %s bytes/second' % (len(content)/tm_cost))

實驗結果：在4核3.4GHz Linux機器上，對金庸全集進行精確分詞，獲得了1MB/s的速度，是單程序版的3.3倍。