• jieba.cut 方法接受三個輸入引數: 需要分詞的字串；cut_all 引數用來控制是否採用全模式；HMM 引數用來控制是否使用
  HMM 模型
  jieba.cut_for_search 方法接受兩個引數：需要分詞的字串；是否使用 HMM 模型。該方法適合用於搜尋引擎構建倒排索引的分詞，粒度比較細
  待分詞的字串可以是 unicode 或 UTF-8 字串、GBK 字串。注意：不建議直接輸入 GBK 字串，可能無法預料地錯誤解碼成 UTF-8
  jieba.cut 以及 jieba.cut_for_search 返回的結構都是一個可迭代的 generator，可以使用 for 迴圈來獲得分詞後得到的每一個詞語(unicode)，或者用
  jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
  jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定義分詞器，可用於同時使用不同詞典。jieba.dt 為預設分詞器，所有全域性分詞相關函式都是該分詞器的對映。

#coding=utf-8
import jieba,math
import jieba.analyse
'''
jieba.cut主要有三種模式
#隨便對一個動物園的評論進行分析
str_text="真是好久好久沒來哈皮娜拉野生動物園了，記憶裡還是小時候三四年級學校組織春遊去的銀河系"
#全模式cut_all=True
str_quan1=jieba.cut(str_text,cut_all=True)
print('全模式分詞：{ %d}' % len(list(str_quan1)))
str_quan2=jieba.cut(str_text,cut_all=True)
print("/".join(str_quan2))
# print(str(str_1))   #為一個generator 用for迴圈可以得到分詞的結果
# str_1_len=len(list(str_1))  #為什麼？這裡執行後後面.join 就不執行，求告知

#精準模式cut_all=False，預設即是
str_jing1=jieba.cut(str_text,cut_all=False)
print('精準模式分詞：{ %d}' % len(list(str_jing1)))
str_jing2=jieba.cut(str_text,cut_all=False)
print("/".join(str_jing2))

#搜尋引擎模式  cut_for_search
str_soso1=jieba.cut_for_search(str_text)
print('搜尋引擎分詞：{ %d}' % len(list(str_soso1)))
str_soso2=jieba.cut_for_search(str_text)
print("/".join(str_soso))
 

結果
全模式分詞：{ 32}
Prefix dict has been built succesfully.
真是/TMD/好久/好久好久/好久/好久沒/沒來/哈/皮/娜拉/野生/野生動物/生動/動物/動物園/了///記憶/記憶裡/還是/小時/小時候/時候/學校/組織/春遊/游去/的/銀河/銀河系/河系
精準模式分詞：{ 19}
真是/TMD/好久好久/沒來/哈皮/娜拉/野生/動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系
搜尋引擎分詞：{ 27}
真是/TMD/好久/好久/好久好久/沒來/哈皮/娜拉/野生/動物/動物園/了/，/記憶/記憶裡/還是/小時/時候/小時候/學校/組織/春遊/去/的/銀河/河系/銀河系、

##2、關鍵詞提取、關鍵詞提取**

import jieba.analyse
’analyse.extract.tags‘
'''
keywords1=jieba.analyse.extract_tags(str_text)
print('關鍵詞提取'+"/".join(keywords1))
keywords_top=jieba.analyse.extract_tags(str_text,topK=3)
print('關鍵詞topk'+"/".join(keywords_to#有時不確定提取多少關鍵詞，可利用總詞的百分比
print('總詞數{}'.format(len(list(jieba.cut(str_text)))))
total=len(list(jieba.cut(str_text)))
get_cnt=math.ceil(total*0.1)  #向上取整
print('從%d 中取出%d 個詞'% (total,get_cnt))
keywords_top1=jieba.analyse.extract_tags(str_text,topK=get_cnt)
print('關鍵詞topk'+"/".join(keywords_top1))''
 

結果：
關鍵詞提取TMD/哈皮/春遊/好久好久/記憶裡/娜拉/銀河系/沒來/動物園/小時候/野生/學校/真是/組織/還是
關鍵詞topkTMD/哈皮/春遊
總詞數19
從19 中取出2 個詞topkTMD/哈皮、

##3、加自定義詞與載入自定義詞庫**

新增自定義詞

================# 處理時，jieba.add_word
# add_word(word,freq=None,tag=None)  和del_word可在程式中動態修改詞典
# suggest_freq(segment,tune=Ture)可調節單詞詞頻，時期能或不能顯示
# 注：自動計算的詞頻在使用HMM新詞發現功能時可能無效
# '''
# str_jing2=jieba.cut(str_text,cut_all=False)
# print('add_word前:'+"/".join(str_jing2))
# #新增自定義詞
# jieba.add_word('哈皮娜拉')
# str_jing3=jieba.cut(str_text,cut_all=False)
# print('add_word後:'+"/".join(str_jing3))
# #修正詞頻
# jieba.suggest_freq('野生動物園',tune=True)
# str_jing4=jieba.cut(str_text,cut_all=False)
# print('suggest_freq後:'+"/".join(str_jing4))
#

結果：
**add_word前:**真是/TMD/好久好久/沒來/哈皮/娜拉/野生/動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系
add_word後:真是/TMD/好久好久/沒/來/哈皮娜拉/野生/動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系
suggest_freq後:真是/TMD/好久好久/沒/來/哈皮娜拉/野生動物園/了/，/記憶裡/還是/小時候/學校/組織/春遊/去/的/銀河系

載入自定義詞庫

jieba.load_userdict(filename)#filename為檔案路徑
詞典格式和dict.txt一樣，一詞一行，每行分三個部分（用空格隔開），詞語 詞頻（可省） 詞性（可省）
順序不可顛倒，若filename為路徑或二進位制方式開啟，則需為UTF-8
'''
#定義：三四年級  在檔案內
jieba.load_userdict('C:\\Users\\lenovo\\Desktop\\自定義詞庫.txt')
str_load=jieba.cut(str_text,cut_all=False)
print('load_userdict後:'+"/".join(str_load))
'''
注jieba.load_userdict載入自定義詞庫和jieba初始化詞庫一同使用，
但是，預設的初始詞庫放在安裝目錄ixia，如果確定長期載入詞庫，就替換他
使用詞庫的切換功能set_dictionary()
可將jieba預設詞庫copy到自己的目錄下，在新增，或者找到更全的詞庫
'''
#一般在python都為site-packages\jieba\dict.txt
#模擬演示
jieba.set_dictionary('filename')
#之後進行分詞，如果我們切換了詞庫，此時程式就會初始化
我們制定的詞庫，而不載入預設路徑詞庫

使用：

-安裝或者將jieba目錄放在當前目錄或者site-packages目錄
演算法：

-基於字首詞典實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAG）
-採用動態規劃查詢最大概率路徑，找出基於詞頻的最大切分組合
-對於未登入詞，採用了基於漢字成詞能力的HMM模型，使用了Viterbi演算法

新增自定義詞典

-開發者可以指定自己自定義的詞典，以便包含jieba詞庫裡沒有的詞。雖然jieba有新詞識別能力，但是自行新增新詞可以保證更高的正確率
-用法：jieba.load_userdict(file_name)#file_name為檔案類物件 或自定義詞典的路徑
-詞典格式：一個詞一行:詞語，詞頻（可省略），詞性（可省略），用空格隔開，順序不可顛倒。UTF-8編碼。
關鍵詞提取：

##4、基於TF-IDF演算法的關鍵詞抽取
import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
–sentence 為待提取的文字
–topK 為返回幾個 TF/IDF 權重最大的關鍵詞，預設值為 20
–withWeight 為是否一併返回關鍵詞權重值，預設值為 False
–allowPOS 僅包括指定詞性的詞，預設值為空，即不篩選

jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 例項，idf_path 為 IDF 頻率檔案

關鍵詞提取所使用逆向檔案頻率（IDF）文字語料庫可以切換成自定義語料庫的路徑

用法:jieba.analyse.set_idf_path(file_name) # file_name為自定義語料庫的路徑

關鍵詞提取所使用停止詞（Stop Words）文字語料庫可以切換成自定義語料庫的路徑

用法： jieba.analyse.set_stop_words(file_name) # file_name為自定義語料庫的路徑

##5、基於TextRank演算法的關鍵詞提取

jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，介面相同，注意預設過濾詞性。
jieba.analyse.TextRank() 新建自定義 TextRank 例項
–基本思想：
1，將待抽取關鍵詞的文字進行分詞
2，以固定視窗大小(預設為5，通過span屬性調整)，詞之間的共現關係，構建圖
3，計算圖中節點的PageRank，注意是無向帶權圖

##Part 1. 詞頻統計、降序排序

article = open("C:\\Users\\Luo Chen\\Desktop\\demo_long.txt", "r").read()
words = jieba.cut(article, cut_all = False)
word_freq = {}
for word in words:
    if word in word_freq:
        word_freq[word] += 1
    else:
        word_freq[word] = 1
freq_word = []
for word, freq in word_freq.items():
    freq_word.append((word, freq))
freq_word.sort(key = lambda x: x[1], reverse = True)
max_number = int(raw_input(u"需要前多少位高頻詞？ "))
for word, freq in freq_word[: max_number]:
    print word, freq

##Part 2. 人工去停用詞

標點符號、虛詞、連詞不在統計範圍內。

stopwords = []
for word in open("C:\\Users\\Luo Chen\\Desktop\\stop_words.txt", "r"):
    stopwords.append(word.strip())
article = open("C:\\Users\\Luo Chen\\Desktop\\demo_long.txt", "r").read()
words = jieba.cut(article, cut_all = False)
stayed_line = ""
for word in words:
    if word.encode("utf-8") not in stopwords:
        stayed_line += word + " "
print stayed_line

##Part 3. 合併同義詞

將同義詞列舉出來，按下Tab鍵分隔，把第一個詞作為需要顯示的詞語，後面的詞語作為要替代的同義詞，一系列同義詞放在一行。
這裡，“北京”、“首都”、“京城”、“北平城”、“故都”為同義詞。

combine_dict = {}

for line in open("C:\\Users\\Luo Chen\\Desktop\\tongyici.txt", "r"):
    seperate_word = line.strip().split("\t")
    num = len(seperate_word)
    for i in range(1, num):
        combine_dict[seperate_word[i]] = seperate_word[0]

jieba.suggest_freq("北平城", tune = True)
seg_list = jieba.cut("北京是中國的首都，京城的景色非常優美，就像當年的北平城，我愛這故都的一草一木。", cut_all = False)
f = ",".join(seg_list)
result = open("C:\\Users\\Luo Chen\\Desktop\\output.txt", "w")
result.write(f.encode("utf-8"))
result.close()

for line in open("C:\\Users\\Luo Chen\\Desktop\\output.txt", "r"):
    line_1 = line.split(",")

final_sentence = ""
for word in line_1:
    if word in combine_dict:
        word = combine_dict[word]
        final_sentence += word
    else:
        final_sentence += word
print final_sentence

##Part 4. 詞語提及率

主要步驟：分詞——過濾停用詞（略）——替代同義詞——計算詞語在文字中出現的概率。

origin = open("C:\\Users\\Luo Chen\\Desktop\\tijilv.txt", "r").read()
jieba.suggest_freq("晨媽媽", tune = True)
jieba.suggest_freq("大黑牛", tune = True)
jieba.suggest_freq("能力者", tune = True)
seg_list = jieba.cut(origin, cut_all = False)
f = ",".join(seg_list)

output_1 = open("C:\\Users\\Luo Chen\\Desktop\\output_1.txt", "w")
output_1.write(f.encode("utf-8"))
output_1.close()

combine_dict = {}
for w in open("C:\\Users\\Luo Chen\\Desktop\\tongyici.txt", "r"):
    w_1 = w.strip().split("\t")
    num = len(w_1)
    for i in range(0, num):
        combine_dict[w_1[i]] = w_1[0]

seg_list_2 = ""
for i in open("C:\\Users\\Luo Chen\\Desktop\\output_1.txt", "r"):
    i_1 = i.split(",")
    for word in i_1:
        if word in combine_dict:
            word = combine_dict[word]
            seg_list_2 += word
        else:
            seg_list_2 += word
print seg_list_2

freq_word = {}
seg_list_3 = jieba.cut(seg_list_2, cut_all = False)
for word in seg_list_3:
    if word in freq_word:
        freq_word[word] += 1
    else:
        freq_word[word] = 1

freq_word_1 = []
for word, freq in freq_word.items():
    freq_word_1.append((word, freq))
freq_word_1.sort(key = lambda x: x[1], reverse = True)
for word, freq in freq_word_1:
    print word, freq

total_freq = 0
for i in freq_word_1:
    total_freq += i[1]

for word, freq in freq_word.items():
    freq = float(freq) / float(total_freq)
    print word, freq

##Part 5. 按詞性提取

import jieba.posseg as pseg
word = pseg.cut("李晨好帥，又能力超強，是“大黑牛”，也是一個能力者，還是隊裡貼心的晨媽媽。")
for w in word:
    if w.flag in ["n", "v", "x"]:
        print w.word, w.flag

以下內容來源於網路收集
3. 關鍵詞提取
基於 TF-IDF 演算法的關鍵詞抽取

import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
    sentence 為待提取的文字
    topK 為返回幾個 TF/IDF 權重最大的關鍵詞，預設值為 20
    withWeight 為是否一併返回關鍵詞權重值，預設值為 False
    allowPOS 僅包括指定詞性的詞，預設值為空，即不篩選
    分詞詞性可參見部落格：[詞性參考](http://blog.csdn.net/HHTNAN/article/details/77650128)
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 例項，idf_path 為 IDF 頻率檔案

程式碼示例 （關鍵詞提取）

關鍵詞提取所使用逆向檔案頻率（IDF）文字語料庫可以切換成自定義語料庫的路徑

用法： jieba.analyse.set_idf_path(file_name) # file_name為自定義語料庫的路徑
自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py

關鍵詞提取所使用停止詞（Stop Words）文字語料庫可以切換成自定義語料庫的路徑

用法： jieba.analyse.set_stop_words(file_name) # file_name為自定義語料庫的路徑
自定義語料庫示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py

關鍵詞一併返回關鍵詞權重值示例

用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py

基於 TextRank 演算法的關鍵詞抽取

jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用，介面相同，注意預設過濾詞性。
jieba.analyse.TextRank() 新建自定義 TextRank 例項

演算法論文： TextRank: Bringing Order into Texts
基本思想:

將待抽取關鍵詞的文字進行分詞
以固定視窗大小(預設為5，通過span屬性調整)，詞之間的共現關係，構建圖
計算圖中節點的PageRank，注意是無向帶權圖

使用示例:

見 test/demo.py
4. 詞性標註

jieba.posseg.POSTokenizer(tokenizer=None) 新建自定義分詞器，tokenizer 引數可指定內部使用的 jieba.Tokenizer 分詞器。jieba.posseg.dt 為預設詞性標註分詞器。
標註句子分詞後每個詞的詞性，採用和 ictclas 相容的標記法。
用法示例

import jieba.posseg as pseg
words = pseg.cut(“我愛北京天安門”)
for word, flag in words:
… print(’%s %s’ % (word, flag))
…
我 r
愛 v
北京 ns
天安門 ns

5. 並行分詞

   原理：將目標文字按行分隔後，把各行文字分配到多個 Python 程序並行分詞，然後歸併結果，從而獲得分詞速度的可觀提升
   基於 python 自帶的 multiprocessing 模組，目前暫不支援 Windows

   用法：
   jieba.enable_parallel(4) # 開啟並行分詞模式，引數為並行程序數
   jieba.disable_parallel() # 關閉並行分詞模式

   實驗結果：在 4 核 3.4GHz Linux 機器上，對金庸全集進行精確分詞，獲得了 1MB/s 的速度，是單程序版的 3.3 倍。

   注意：並行分詞僅支援預設分詞器 jieba.dt 和 jieba.posseg.dt。

6. Tokenize：返回詞語在原文的起止位置

   注意，輸入引數只接受 unicode
   預設模式

result = jieba.tokenize(u’永和服裝飾品有限公司’)
for tk in result:
print(“word %s\t\t start: %d \t\t end:%d” % (tk[0],tk[1],tk[2]))

word 永和 start: 0 end:2
word 服裝 start: 2 end:4
word 飾品 start: 4 end:6
word 有限公司 start: 6 end:10

搜尋模式

result = jieba.tokenize(u’永和服裝飾品有限公司’, mode=‘search’)
for tk in result:
print(“word %s\t\t start: %d \t\t end:%d” % (tk[0],tk[1],tk[2]))

word 永和 start: 0 end:2
word 服裝 start: 2 end:4
word 飾品 start: 4 end:6
word 有限 start: 6 end:8
word 公司 start: 8 end:10
word 有限公司 start: 6 end:10

使用示例：python -m jieba news.txt > cut_result.txt

命令列選項（翻譯）：

使用: python -m jieba [options] filename

結巴命令列介面。

固定引數:
filename 輸入檔案

可選引數:
-h, --help 顯示此幫助資訊並退出
-d [DELIM], --delimiter [DELIM]
使用 DELIM 分隔詞語，而不是用預設的’ / '。
若不指定 DELIM，則使用一個空格分隔。
-p [DELIM], --pos [DELIM]
啟用詞性標註；如果指定 DELIM，詞語和詞性之間
用它分隔，否則用 _ 分隔
-D DICT, --dict DICT 使用 DICT 代替預設詞典
-u USER_DICT, --user-dict USER_DICT
使用 USER_DICT 作為附加詞典，與預設詞典或自定義詞典配合使用
-a, --cut-all 全模式分詞（不支援詞性標註）
-n, --no-hmm 不使用隱含馬爾可夫模型
-q, --quiet 不輸出載入資訊到 STDERR
-V, --version 顯示版本資訊並退出

如果沒有指定檔名，則使用標準輸入。

–help 選項輸出：

$> python -m jieba --help
Jieba command line interface.

positional arguments:
filename input file

optional arguments:
-h, --help show this help message and exit
-d [DELIM], --delimiter [DELIM]
use DELIM instead of ’ / ’ for word delimiter; or a
space if it is used without DELIM
-p [DELIM], --pos [DELIM]
enable POS tagging; if DELIM is specified, use DELIM
instead of ‘_’ for POS delimiter
-D DICT, --dict DICT use DICT as dictionary
-u USER_DICT, --user-dict USER_DICT
use USER_DICT together with the default dictionary or
DICT (if specified)
-a, --cut-all full pattern cutting (ignored with POS tagging)
-n, --no-hmm don’t use the Hidden Markov Model
-q, --quiet don’t print loading messages to stderr
-V, --version show program’s version number and exit

If no filename specified, use STDIN instead.

延遲載入機制

jieba 採用延遲載入，import jieba 和 jieba.Tokenizer() 不會立即觸發詞典的載入，一旦有必要才開始載入詞典構建字首字典。如果你想手工初始 jieba，也可以手動初始化。

import jieba
jieba.initialize() # 手動初始化（可選）

在 0.28 之前的版本是不能指定主詞典的路徑的，有了延遲載入機制後，你可以改變主詞典的路徑:

jieba.set_dictionary(‘data/dict.txt.big’)

#關於結巴安裝失敗問題

首先嚐試pip install jieba 與conda install jieba來解決問題。如果多次嘗試仍然失敗，那麼由於結巴不是python的官方庫，https://www.lfd.uci.edu/~gohlke/pythonlibs/目前無whl 檔案、需要下載https://pypi.org/project/jieba/#files。jie.zip檔案，之後將其解壓，
解壓後進到解壓檔案的目錄，
點選電腦桌面的左下角的【開始】—》執行 —》輸入: cmd —》切換到Jieba所在的目錄，比如,D:\Download\Jieba，依次使用如下命令：　　
C:\Users\Administrator>D:
D:>cd D:\Download\jieba-0.35
觀察結巴目錄下是否是jieba路徑了，如果確認則執行，有的時候還需要在進入一個目錄，之後執行
D:\Download\jieba-0.35>python setup.py install
即安裝成功。