【資料彙編】結巴中文分詞官方文件和原始碼分析系列文章
作者:白寧超
2016年11月23日16:49:36
摘要:結巴中文分詞的特點如下:支援三種分詞模式:(精確模式,試圖將句子最精確地切開,適合文字分析;全模式,把句子中所有的可以成詞的詞語都掃描出來, 速度非常快,但是不能解決歧義;搜尋引擎模式,在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞。)、支援繁體分詞、支援自定義詞典、MIT 授權協議。本文系列文章一是對官方文件的介紹,文章二是引用收集網友對結巴分詞原始碼的分析,文章三是對基本操作程式碼示例演示。(本文原創匯編而成,轉載請標明出處:結巴分詞官方文件分析(1)
目錄:
1 結巴中文分詞:基於Python的中文分詞
1 特點
-
支援三種分詞模式:
- 精確模式,試圖將句子最精確地切開,適合文字分析;
- 全模式,把句子中所有的可以成詞的詞語都掃描出來, 速度非常快,但是不能解決歧義;
- 搜尋引擎模式,在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞。
-
支援繁體分詞
- 支援自定義詞典
- MIT 授權協議
2 安裝說明:程式碼對 Python 2/3 均相容
- 全自動安裝:
easy_install jieba
或者pip install jieba
/pip3 install jieba
- 手動安裝:將 jieba 目錄放置於當前目錄或者 site-packages 目錄
- 通過
import jieba
來引用
演算法:
- 基於字首詞典實現高效的詞圖掃描,生成句子中漢字所有可能成詞情況所構成的有向無環圖 (DAG)
- 採用了動態規劃查詢最大概率路徑, 找出基於詞頻的最大切分組合
- 對於未登入詞,採用了基於漢字成詞能力的 HMM 模型,使用了 Viterbi 演算法
3 主要功能
1. 分詞:
jieba.cut
方法接受三個輸入引數: 需要分詞的字串;cut_all 引數用來控制是否採用全模式;HMM 引數用來控制是否使用 HMM 模型jieba.cut_for_search
方法接受兩個引數:需要分詞的字串;是否使用 HMM 模型。該方法適合用於搜尋引擎構建倒排索引的分詞,粒度比較細- 待分詞的字串可以是 unicode 或 UTF-8 字串、GBK 字串。注意:不建議直接輸入 GBK 字串,可能無法預料地錯誤解碼成 UTF-8
jieba.cut
以及jieba.cut_for_search
返回的結構都是一個可迭代的 generator,可以使用 for 迴圈來獲得分詞後得到的每一個詞語(unicode)jieba.lcut
以及jieba.lcut_for_search
直接返回 listjieba.Tokenizer(dictionary=DEFAULT_DICT)
新建自定義分詞器,可用於同時使用不同詞典。jieba.dt
為預設分詞器,所有全域性分詞相關函式都是該分詞器的對映。
程式碼示例
# encoding=utf-8 import jieba seg_list = jieba.cut("我來到北京清華大學", cut_all=True) print("Full Mode: " + "/ ".join(seg_list)) # 全模式 seg_list = jieba.cut("我來到北京清華大學", cut_all=False) print("Default Mode: " + "/ ".join(seg_list)) # 精確模式 seg_list = jieba.cut("他來到了網易杭研大廈") # 預設是精確模式 print(", ".join(seg_list)) seg_list = jieba.cut_for_search("小明碩士畢業於中國科學院計算所,後在日本京都大學深造") # 搜尋引擎模式 print(", ".join(seg_list))
輸出:
【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學
【精確模式】: 我/ 來到/ 北京/ 清華大學
【新詞識別】:他, 來到, 了, 網易, 杭研, 大廈 (此處,“杭研”並沒有在詞典中,但是也被Viterbi演算法識別出來了)
【搜尋引擎模式】: 小明, 碩士, 畢業, 於, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, 後, 在, 日本, 京都, 大學, 日本京都大學, 深造
2. 新增自定義詞典
載入詞典:
- 開發者可以指定自己自定義的詞典,以便包含 jieba 詞庫裡沒有的詞。雖然 jieba 有新詞識別能力,但是自行新增新詞可以保證更高的正確率
- 用法: jieba.load_userdict(file_name) # file_name 為檔案類物件或自定義詞典的路徑
- 詞典格式和
dict.txt
一樣,一個詞佔一行;每一行分三部分:詞語、詞頻(可省略)、詞性(可省略),用空格隔開,順序不可顛倒。file_name
若為路徑或二進位制方式開啟的檔案,則檔案必須為 UTF-8 編碼。 - 詞頻省略時使用自動計算的能保證分出該詞的詞頻。
例如:
創新辦 3 i
雲端計算 5
凱特琳 nz
臺中
自定義詞典:
雲端計算 5 李小福 2 nr 創新辦 3 i easy_install 3 eng 好用 300 韓玉賞鑑 3 nz 八一雙鹿 3 nz 臺中 凱特琳 nz Edu Trust認證 2000
用法示例:
#encoding=utf-8 from __future__ import print_function, unicode_literals import sys sys.path.append("../") import jieba jieba.load_userdict("userdict.txt") import jieba.posseg as pseg jieba.add_word('石墨烯') jieba.add_word('凱特琳') jieba.del_word('自定義詞') test_sent = ( "李小福是創新辦主任也是雲端計算方面的專家; 什麼是八一雙鹿\n" "例如我輸入一個帶“韓玉賞鑑”的標題,在自定義詞庫中也增加了此詞為N類\n" "「臺中」正確應該不會被切開。mac上可分出「石墨烯」;此時又可以分出來凱特琳了。" ) words = jieba.cut(test_sent) print('/'.join(words)) print("="*40) result = pseg.cut(test_sent) for w in result: print(w.word, "/", w.flag, ", ", end=' ') print("\n" + "="*40) terms = jieba.cut('easy_install is great') print('/'.join(terms)) terms = jieba.cut('python 的正則表示式是好用的') print('/'.join(terms)) print("="*40) # test frequency tune testlist = [ ('今天天氣不錯', ('今天', '天氣')), ('如果放到post中將出錯。', ('中', '將')), ('我們中出了一個叛徒', ('中', '出')), ] for sent, seg in testlist: print('/'.join(jieba.cut(sent, HMM=False))) word = ''.join(seg) print('%s Before: %s, After: %s' % (word, jieba.get_FREQ(word), jieba.suggest_freq(seg, True))) print('/'.join(jieba.cut(sent, HMM=False))) print("-"*40)
調整詞典:
- 使用
add_word(word, freq=None, tag=None)
和del_word(word)
可在程式中動態修改詞典。 -
使用
suggest_freq(segment, tune=True)
可調節單個詞語的詞頻,使其能(或不能)被分出來。 -
注意:自動計算的詞頻在使用 HMM 新詞發現功能時可能無效。
程式碼示例:
>>> print('/'.join(jieba.cut('如果放到post中將出錯。', HMM=False))) 如果/放到/post/中將/出錯/。 >>> jieba.suggest_freq(('中', '將'), True) 494 >>> print('/'.join(jieba.cut('如果放到post中將出錯。', HMM=False))) 如果/放到/post/中/將/出錯/。 >>> print('/'.join(jieba.cut('「臺中」正確應該不會被切開', HMM=False))) 「/臺/中/」/正確/應該/不會/被/切開 >>> jieba.suggest_freq('臺中', True) 69 >>> print('/'.join(jieba.cut('「臺中」正確應該不會被切開', HMM=False))) 「/臺中/」/正確/應該/不會/被/切開
3. 關鍵詞提取
基於 TF-IDF 演算法的關鍵詞抽取:
import jieba.analyse
- jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
- sentence 為待提取的文字
- topK 為返回幾個 TF/IDF 權重最大的關鍵詞,預設值為 20
- withWeight 為是否一併返回關鍵詞權重值,預設值為 False
- allowPOS 僅包括指定詞性的詞,預設值為空,即不篩選
- jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 例項,idf_path 為 IDF 頻率檔案
import sys sys.path.append('../') import jieba import jieba.analyse from optparse import OptionParser USAGE = "usage: python extract_tags.py [file name] -k [top k]" parser = OptionParser(USAGE) parser.add_option("-k", dest="topK") opt, args = parser.parse_args() if len(args) < 1: print(USAGE) sys.exit(1) file_name = args[0] if opt.topK is None: topK = 10 else: topK = int(opt.topK) content = open(file_name, 'rb').read() tags = jieba.analyse.extract_tags(content, topK=topK) print(",".join(tags))
關鍵詞提取所使用逆向檔案頻率(IDF)文字語料庫可以切換成自定義語料庫的路徑
import sys sys.path.append('../') import jieba import jieba.analyse from optparse import OptionParser USAGE = "usage: python extract_tags_idfpath.py [file name] -k [top k]" parser = OptionParser(USAGE) parser.add_option("-k", dest="topK") opt, args = parser.parse_args() if len(args) < 1: print(USAGE) sys.exit(1) file_name = args[0] if opt.topK is None: topK = 10 else: topK = int(opt.topK) content = open(file_name, 'rb').read() jieba.analyse.set_idf_path("../extra_dict/idf.txt.big"); tags = jieba.analyse.extract_tags(content, topK=topK) print(",".join(tags))
關鍵詞提取所使用停止詞(Stop Words)文字語料庫可以切換成自定義語料庫的路徑
import sys sys.path.append('../') import jieba import jieba.analyse from optparse import OptionParser USAGE = "usage: python extract_tags_stop_words.py [file name] -k [top k]" parser = OptionParser(USAGE) parser.add_option("-k", dest="topK") opt, args = parser.parse_args() if len(args) < 1: print(USAGE) sys.exit(1) file_name = args[0] if opt.topK is None: topK = 10 else: topK = int(opt.topK) content = open(file_name, 'rb').read() jieba.analyse.set_stop_words("../extra_dict/stop_words.txt") jieba.analyse.set_idf_path("../extra_dict/idf.txt.big"); tags = jieba.analyse.extract_tags(content, topK=topK) print(",".join(tags))
關鍵詞一併返回關鍵詞權重值示例
基於 TextRank 演算法的關鍵詞抽取
- jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用,介面相同,注意預設過濾詞性。
- jieba.analyse.TextRank() 新建自定義 TextRank 例項
基本思想:
- 將待抽取關鍵詞的文字進行分詞
- 以固定視窗大小(預設為5,通過span屬性調整),詞之間的共現關係,構建圖
- 計算圖中節點的PageRank,注意是無向帶權圖
4. 詞性標註
jieba.posseg.POSTokenizer(tokenizer=None)
新建自定義分詞器,tokenizer
引數可指定內部使用的jieba.Tokenizer
分詞器。jieba.posseg.dt
為預設詞性標註分詞器。- 標註句子分詞後每個詞的詞性,採用和 ictclas 相容的標記法。
- 用法示例
>>> import jieba.posseg as pseg >>> words = pseg.cut("我愛北京天安門") >>> for word, flag in words: ... print('%s %s' % (word, flag)) ... 我 r 愛 v 北京 ns 天安門 ns
5. 並行分詞
- 原理:將目標文字按行分隔後,把各行文字分配到多個 Python 程序並行分詞,然後歸併結果,從而獲得分詞速度的可觀提升
- 基於 python 自帶的 multiprocessing 模組,目前暫不支援 Windows
-
用法:
jieba.enable_parallel(4)
# 開啟並行分詞模式,引數為並行程序數jieba.disable_parallel()
# 關閉並行分詞模式
-
實驗結果:在 4 核 3.4GHz Linux 機器上,對金庸全集進行精確分詞,獲得了 1MB/s 的速度,是單程序版的 3.3 倍。
-
注意:並行分詞僅支援預設分詞器
jieba.dt
和jieba.posseg.dt
。
6. Tokenize:返回詞語在原文的起止位置
- 注意,輸入引數只接受 unicode
- 預設模式
result = jieba.tokenize(u'永和服裝飾品有限公司') for tk in result: print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) word 永和 start: 0 end:2 word 服裝 start: 2 end:4 word 飾品 start: 4 end:6 word 有限公司 start: 6 end:10
- 搜尋模式
result = jieba.tokenize(u'永和服裝飾品有限公司', mode='search') for tk in result: print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) word 永和 start: 0 end:2 word 服裝 start: 2 end:4 word 飾品 start: 4 end:6 word 有限 start: 6 end:8 word 公司 start: 8 end:10 word 有限公司 start: 6 end:10
7. ChineseAnalyzer for Whoosh 搜尋引擎
# -*- coding: UTF-8 -*- from __future__ import unicode_literals import sys,os sys.path.append("../") from whoosh.index import create_in,open_dir from whoosh.fields import * from whoosh.qparser import QueryParser from jieba.analyse import ChineseAnalyzer analyzer = ChineseAnalyzer() schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT(stored=True, analyzer=analyzer)) if not os.path.exists("tmp"): os.mkdir("tmp") ix = create_in("tmp", schema) # for create new index #ix = open_dir("tmp") # for read only writer = ix.writer() writer.add_document( title="document1", path="/a", content="This is the first document we’ve added!" ) writer.add_document( title="document2", path="/b", content="The second one 你 中文測試中文 is even more interesting! 吃水果" ) writer.add_document( title="document3", path="/c", content="買水果然後來世博園。" ) writer.add_document( title="document4", path="/c", content="工信處女幹事每月經過下屬科室都要親口交代24口交換機等技術性器件的安裝工作" ) writer.add_document( title="document4", path="/c", content="咱倆交換一下吧。" ) writer.commit() searcher = ix.searcher() parser = QueryParser("content", schema=ix.schema) for keyword in ("水果世博園","你","first","中文","交換機","交換"): print("result of ",keyword) q = parser.parse(keyword) results = searcher.search(q) for hit in results: print(hit.highlights("content")) print("="*10) for t in analyzer("我的好朋友是李明;我愛北京天安門;IBM和Microsoft; I have a dream. this is intetesting and interested me a lot"): print(t.text)
8. 命令列分詞
使用示例:python -m jieba news.txt > cut_result.txt
命令列選項(翻譯):
使用: python -m jieba [options] filename 結巴命令列介面。 固定引數: filename 輸入檔案 可選引數: -h, --help 顯示此幫助資訊並退出 -d [DELIM], --delimiter [DELIM] 使用 DELIM 分隔詞語,而不是用預設的' / '。 若不指定 DELIM,則使用一個空格分隔。 -p [DELIM], --pos [DELIM] 啟用詞性標註;如果指定 DELIM,詞語和詞性之間 用它分隔,否則用 _ 分隔 -D DICT, --dict DICT 使用 DICT 代替預設詞典 -u USER_DICT, --user-dict USER_DICT 使用 USER_DICT 作為附加詞典,與預設詞典或自定義詞典配合使用 -a, --cut-all 全模式分詞(不支援詞性標註) -n, --no-hmm 不使用隱含馬爾可夫模型 -q, --quiet 不輸出載入資訊到 STDERR -V, --version 顯示版本資訊並退出 如果沒有指定檔名,則使用標準輸入。
--help
選項輸出:
$> python -m jieba --help Jieba command line interface. positional arguments: filename input file optional arguments: -h, --help show this help message and exit -d [DELIM], --delimiter [DELIM] use DELIM instead of ' / ' for word delimiter; or a space if it is used without DELIM -p [DELIM], --pos [DELIM] enable POS tagging; if DELIM is specified, use DELIM instead of '_' for POS delimiter -D DICT, --dict DICT use DICT as dictionary -u USER_DICT, --user-dict USER_DICT use USER_DICT together with the default dictionary or DICT (if specified) -a, --cut-all full pattern cutting (ignored with POS tagging) -n, --no-hmm don't use the Hidden Markov Model -q, --quiet don't print loading messages to stderr -V, --version show program's version number and exit If no filename specified, use STDIN instead.
延遲載入機制
jieba 採用延遲載入,import jieba
和 jieba.Tokenizer()
不會立即觸發詞典的載入,一旦有必要才開始載入詞典構建字首字典。如果你想手工初始 jieba,也可以手動初始化。
import jieba jieba.initialize() # 手動初始化(可選)
在 0.28 之前的版本是不能指定主詞典的路徑的,有了延遲載入機制後,你可以改變主詞典的路徑:
jieba.set_dictionary('data/dict.txt.big')
其他詞典
下載你所需要的詞典,然後覆蓋 jieba/dict.txt 即可;或者用 jieba.set_dictionary('data/dict.txt.big')
2 其他語言實現
結巴分詞 Java 版本
結巴分詞 C++ 版本
結巴分詞 Node.js 版本
結巴分詞 Erlang 版本
結巴分詞 R 版本
結巴分詞 iOS 版本
結巴分詞 PHP 版本
結巴分詞 .NET(C#) 版本
結巴分詞 Go 版本
3 系統整合
分詞速度
- 1.5 MB / Second in Full Mode
- 400 KB / Second in Default Mode
- 測試環境: Intel(R) Core(TM) i7-2600 CPU @ 3.4GHz;《圍城》.txt
4 常見問題
1. 模型的資料是如何生成的?
2. “臺中”總是被切成“臺 中”?(以及類似情況)
P(臺中) < P(臺)×P(中),“臺中”詞頻不夠導致其成詞概率較低
解決方法:強制調高詞頻
jieba.add_word('臺中')
或者 jieba.suggest_freq('臺中', True)
3. “今天天氣 不錯”應該被切成“今天 天氣 不錯”?(以及類似情況)
解決方法:強制調低詞頻
jieba.suggest_freq(('今天', '天氣'), True)
或者直接刪除該詞 jieba.del_word('今天天氣')
4. 切出了詞典中沒有的詞語,效果不理想?
解決方法:關閉新詞發現
jieba.cut('豐田太省了', HMM=False)
jieba.cut('我們中出了一個叛徒', HMM=False)
4 參考文獻:
相關推薦
【資料彙編】結巴中文分詞官方文件和原始碼分析系列文章
作者:白寧超 2016年11月23日16:49:36 摘要:結巴中文分詞的特點如下:支援三種分詞模式:(精確模式,試圖將句子最精確地切開,適合文字分析;全模式,把句子中所有的可以成詞的詞語都掃描出來, 速度非常快,但是不能解決歧義;搜尋引擎模式,在精確模式的基礎上,對長詞再次切分,提高召回率,適合
【結巴分詞資料彙編】結巴中文分詞原始碼分析(2)
如下演算法實現分詞: 1. 基於字首詞典實現高效的詞圖掃描,生成句子中漢字所有可能成詞情況所構成的有向無環圖 (DAG); 作者這個版本中使用字首字典實現了詞庫的儲存(即dict.txt檔案中的內容),而棄用之前版本的trie樹儲存詞庫,想想也是,python中實現的trie樹是基於dict型
【Java】Java中文分詞器Ansj的使用
[中國, 是, 世界, 四, 大, 文明, 古, 國, 之一, ,, 有著, 悠久, 的, 歷史, ,, 距, 今, 約, 5000, 年前, ,, 以, 中原, 地區, 為, 中心, 開始, 出現, 聚落, 組織, 進而, 成, 國家, 和, 朝代, ,, 後, 歷經, 多次, 演變, 和, 朝代, 更迭,
Python第三方庫jieba(結巴-中文分詞)入門與進階(官方文檔)
修改 demo 特點 pypi nlp CA 動態修改 tag 官方文檔 jieba “結巴”中文分詞:做最好的 Python 中文分詞組件。下載地址:https://github.com/fxsjy/jieba 特點 支持三種分詞模式: 精確模式,試圖將句子最精確地
python機器學習庫——結巴中文分詞
結巴中文分詞 安裝: pip install jieba1 特點: 支援三種分詞模式: 精確模式,試圖將句子最精確地切開,適合文字分析; 全模式,把句子中所有的可以成詞的詞語都掃描出來, 速度非常快,但是不能解決歧義; 搜尋引擎模式,在精確
結巴中文分詞的學習和使用
結巴分詞 演算法 (1) 基於Trie樹結構實現高效的詞圖掃描,生成句子中漢字所有可能成詞情況所構成的有向無環圖(DAG); (2) 採用了動態規劃查詢最大概率路徑, 找出基於詞頻的最大切分組合; (3) 對於未登入詞,採用了基於漢字成詞能力的HMM模型,使用了Viterbi演算
“結巴”中文分詞簡介 jieba
jieba“結巴”中文分詞:做最好的 Python 中文分片語件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word seg
結巴中文分詞用法
特點 支援三種分詞模式: 精確模式,試圖將句子最精確地切開,適合文字分析; 全模式,把句子中所有的可以成詞的詞語都掃描出來, 速度非常快,但是不能解決歧義; 搜尋引擎模式,在精確模式的基礎上,對長詞再次切分,提高召回率,適合用於搜尋引擎分詞。 支援繁體分詞 支援
中文分詞一席談之難點分析
什麼是分詞? 分詞就是利用計算機識別出文本中詞彙的過程。比如句子“內塔尼亞胡說的確實在理” 分詞作用 網際網路絕大多數應用都需要分詞,典型應用例項 漢字處理:拼音輸入法、手寫識別、簡繁轉換 …
【資料平臺】sklearn庫特徵工程之特徵選擇和降維
1、特徵選擇 當資料預處理完成後,我們需要選擇有意義的特徵輸入機器學習的演算法和模型進行訓練。通常來說,從兩個方面考慮來選擇特徵: 特徵是否發散:如果一個特徵不發散,例如方差接近於0,也就是說樣本在這個特徵上基本上沒有差異,這個特徵對於樣本的區分並沒有什麼用。特徵與目標的相
【資料結構】實現順序表以及簡單的時間複雜度分析
最近在學資料結構,接下來一段時間我將用java來實現所學的各種資料結構,以加深自己的印象。 線性表包括順序表和連結串列,其實順序表就是動態陣列,下面我將二次封裝實現屬於自己的動態陣列。 -------------------------------------------
分散式系統漫談【拾貳】_分庫分錶帶來的問題和解決方案
本文來說說關於資料庫分庫分表。 分庫分表 當系統資料庫達到一定的量級,單資料庫例項已經無法支撐的時候,我們就要考慮採用分庫分表的策略了。如何理解這個名詞?其實分庫就是垂直拆分,按業務將資料拆
PoEdu - Windows階段班 【Po學校】Windows編程 Lesson004_003-2 文件操作
環境 語言 設定 out msdn str 函數 示例 encrypt 001_函數的不同版本 HANDLE : CreateFile()函數返回一個內核對象的句柄 WINAPI : 一種調用約定,調用方式。 _In_ 與 _In_opt_ : 本身沒有意義,一個說
【IntelliJ IDEA】使用idea解決新建jsp文件而找不到jsp文件模版的新建選項
解決辦法 發現 modules 創建 file 技術 直接 ges 分享 使用idea解決新建jsp文件而找不到jsp文件模版的新建選項,這樣每次創建一個新的jsp文件豈不是很耗時間? 解決辦法: 就是要讓idea知道你需要在這個目錄下創建jsp文件 左上角,file
【AO筆記】有關使用AO基於shp文件創建網絡數據集的一個細節
style manager 博客 target 類庫 dataset IT pac red 前些日子,和群友交流時提及shp文件創建單一網絡數據集的創建問題。 由於項目需求,用shp文件創建網絡合適,所以不得不去找一些古老的代碼資料... 以前的研究中,創建網絡數據集是根據
【代碼審計】CLTPHP_v5.5.3後臺任意文件下載漏洞分析
func attach database 9.png jpg 允許 left 簡單 服務 0x00 環境準備 CLTPHP官網:http://www.cltphp.com 網站源碼版本:CLTPHP內容管理系統5.5.3版本 程序源碼下載:https://git
【代碼審計】CLTPHP_v5.5.3後臺任意文件刪除漏洞分析
login alt flag div 網站源碼 用戶 urn 測試 result 0x00 環境準備 CLTPHP官網:http://www.cltphp.com 網站源碼版本:CLTPHP內容管理系統5.5.3版本 程序源碼下載:https://gitee.c
【Dr.Elephant原始碼分析系列文章-1】
Dr.Elephant是LinkedIn於2016年4月開源的一個Hadoop平臺效能調優工具。我們可以從這個連結獲取原始碼:https://github.com/linkedin/dr-elepha
Physics Bodies(中文翻譯)—UE4官方文件
Physics Bodies Reference(物理實體參考) 注:文中紅色的部分都是我在實踐中的一些理解,建議大家參考一下 This page contains a reference listing of properties in the Physics
【轉】中文分詞之HMM模型詳解
實現 含義 jieba 順序 清晰 bsp 中國 matrix 統計 關於HMM模型的介紹,網上的資料已經爛大街,但是大部分都是在背書背公式,本文在此針對HMM模型在中文分詞中的應用,講講實現原理。 盡可能的撇開公式,撇開推導。結合實際開源代碼作為例子,爭取做到雅俗共賞,