1. 程式人生 > >python的jieba分詞

python的jieba分詞

str lov clas true read .py 日本 pri 技術

# 官方例程

# encoding=utf-8

import jieba

seg_list = jieba.cut("我來到北京清華大學", cut_all=True)

print("Full Mode: " + "/ ".join(seg_list)) # 全模式

輸出:===============================

【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學

seg_list = jieba.cut("我來到北京清華大學", cut_all=False)

print("Default Mode: " + "/ ".join(seg_list)) # 精確模式

輸出: ======================

【精確模式】: 我/ 來到/ 北京/ 清華大學

seg_list = jieba.cut("他來到了網易杭研大廈")

# 默認是精確模式

print(", ".join(seg_list))

輸出:================

【新詞識別】:他, 來到, 了, 網易, 杭研, 大廈 (此處,“杭研”並沒有在詞典中,但是也被Viterbi算法識別出來了)

seg_list = jieba.cut_for_search("小明碩士畢業於中國科學院計算所,後在日本京都大學深造") # 搜索引擎模式

print(", ".join(seg_list))

輸出:=================================

【搜索引擎模式】: 小明, 碩士, 畢業, 於, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, 後, 在, 日本, 京都, 大學, 日本京都大學, 深造

附上個人案例:

技術分享圖片

詞雲wordcloud+jieba+matplotlib做出漂亮的詞雲效果:

#!usr/bin/env python
#-*- coding:utf-8 _*-
"""
@author:wujf
@file: word.py
@time: 2018/09/14 10:05
必須要安裝 matplotlib
"""
import sys
# default_encoding = ‘utf-8‘
# if sys.getdefaultencoding() != default_encoding:
# reload(sys)
# sys.setdefaultencoding(default_encoding)
import jieba
from wordcloud import WordCloud

import matplotlib.pyplot as plt

with open(r"C:\\Users\\lenovo\\PycharmProjects\\Primary\\lover.txt",‘r‘) as f:
text = f.read()

str = " ".join(jieba.cut(text))

print type(str)

font = r"C:\\Windows\\Fonts\\微軟雅黑\\msyhl.ttc" #這裏一定要些win10電腦裏面的中文字體,否則遇到中文字體分不出來
s = WordCloud(font_path=font,
background_color=‘black‘,
width=1200,
height=600
).generate(str)
s.to_file("cloud.png")
plt.imshow(s)
plt.axis("off")
plt.show()

效果圖:

技術分享圖片

python的jieba分詞