2. 程式人生 > >PyNLPIR python中文分詞工具

PyNLPIR python中文分詞工具

阿新 • • 發佈：2017-09-21
命名 hub 兩個 工具 ict mage ret wid tty

官網：https://pynlpir.readthedocs.io/en/latest/ github：https://github.com/tsroten/pynlpir
NLPIR分詞系統前身為2000年發布的ICTCLAS詞法分析系統，從2009年開始，為了和以前工作進行大的區隔，並推廣NLPIR自然語言處理與信息檢索共享平臺，調整命名為NLPIR分詞系統。 其主要的功能有中文分詞，標註詞性和獲取句中的關鍵詞。
主要用到的函數有兩個： pynlpir.segment(s, pos_tagging=True, pos_names=‘parent‘, pos_english=True
)
pynlpir.get_key_words(s, max_words=50, weighted=False)
 分詞：pynlpir.segment(s, pos_tagging=True, pos_names=‘parent‘, pos_english=True) S: 句子 pos_tagging：是否進行詞性標註 pos_names：顯示詞性的父類(parent)還是子類(child) 或者全部(all)
pos_english：詞性顯示英語還是中文
 獲取關鍵詞：pynlpir.get_key_words(s, max_words=50, weighted=False)
 s: 句子 max_words：最大的關鍵詞數 weighted：是否顯示關鍵詞的權重
  1. import pynlpir
  2. import jieba
  4. pynlpir.open()
  5. s = ‘最早的幾何學興起於公元前7世紀的古埃及‘
  6. # s = ‘hscode為0110001234的進口‘
  7. segments = pynlpir
     
    .segment(s, pos_names=‘all‘,pos_english=False)
  8. for segment in segments:
  9.     print (segment[0], ‘\t‘, segment[1])
  11. key_words = pynlpir.get_key_words(s, weighted=True)
  12. for key_word in key_words:
  13.     print (key_word[0], ‘\t‘, key_word[1])
  15. pynlpir.close()
技術分享 技術分享

null

PyNLPIR python中文分詞工具

相關推薦

PyNLPIR python中文分詞工具

命名 hub 兩個 工具 ict mage ret wid tty 官網：https://pynlpir.readthedocs.io/en/latest/ github：https://github.com/tsroten/pynlpir NLPIR分詞系

python中文分詞工具：結巴分詞jieba

結巴分詞jieba特點    支援三種分詞模式：        精確模式，試圖將句子最精確地切開，適合文字分析；        全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義；        搜尋引擎模式，在精確模式的基礎上，對長詞再次切分，提

在PyCharm（Python整合開發環境）中安裝jieba中文分詞工具包

PyCharm IDE中，可以直接引入各種工具包。jieba中文分詞工具包安裝非常方便。 1、開啟Pycharm，點選左上角  >>File  >>Settings。 2、在settings介面中點選Project :***（專案名稱）  >

python中文分詞，使用結巴分詞對python進行分詞

php 分詞 在采集美女站時,需要對關鍵詞進行分詞,最終采用的是python的結巴分詞方法.中文分詞是中文文本處理的一個基礎性工作，結巴分詞利用進行中文分詞。其基本實現原理有三點：基於Trie樹結構實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAG)采用了動態規劃查找最大概率

python基礎===jieba模塊，Python 中文分詞組件

word cut 用法 地址 api mas 精確 == com api參考地址：https://github.com/fxsjy/jieba/blob/master/README.md 安裝自行百度 基本用法： import jieba #全模式 word = jie

開源中文分詞工具探析（六）：Stanford CoreNLP

inf git deb seq 效果 analysis stream fix sps CoreNLP是由斯坦福大學開源的一套Java NLP工具，提供諸如：詞性標註（part-of-speech (POS) tagger）、命名實體識別（named entity recog

Python中文分詞 jieba

問題 turn Coding windows 停用 分享圖片 詞典 ces text1 三種分詞模式與一個參數 以下代碼主要來自於jieba的github,你可以在github下載該源碼 import jieba seg_list = jieba.cut("我來到北京清

python中文分詞器（jieba類庫）

 先上效果圖： 資料來源： 分詞後的txt檔案： 分詞後的excel檔案： 原始碼： #!/usr/bin/python # -*- coding: UTF-8 -*- # *************************************

Python中文分詞_使用介紹(wordcloud+jieba)

詞雲又叫文字雲，是對文字資料中出現頻率較高的“關鍵詞”在視覺上的突出呈現，形成關鍵詞的渲染形成類似雲一樣的彩色圖片，從而一眼就可以領略文字資料的主要表達意思。 安裝需要的libs 接下來的程式碼裡會用到如下四個主要的libs，我本地是64位win10，安

北大開源全新中文分詞工具包：準確率遠超THULAC、結巴分詞

選自GitHub，作者：羅睿軒、許晶晶、孫栩，機器之心編輯。 最近，北大開源了一箇中文分詞工具包，它在多個分詞資料集上都有非常高的分詞準確率。其中廣泛使用的結巴分詞誤差率高達 18.55% 和 20.42，而北大的 pkuseg 只有 3.25% 與 4.32%。 pkuseg 是由北京

中文分詞工具thulac4j釋出

1. 介紹 thulac4j是THULAC的Java 8工程化實現，具有分詞速度快、準、強的特點；支援 自定義詞典 繁體轉簡體 停用詞過濾 若想在專案中使用thulac4j，可新增依賴： <dependency> <groupId>io.github.yizhiru</g

開源中文分詞工具探析（七）：LTP

LTP是哈工大開源的一套中文語言處理系統，涵蓋了基本功能：分詞、詞性標註、命名實體識別、依存句法分析、語義角色標註、語義依存分析等。 【開源中文分詞工具探析】系列： 1. 前言 同THULAC一樣，LTP也是基於結構化感知器（Structured Perceptron, SP），以最大熵準則建模標註序列

開源中文分詞工具探析（四）：THULAC

THULAC是一款相當不錯的中文分詞工具，準確率高、分詞速度蠻快的；並且在工程上做了很多優化，比如：用DAT儲存訓練特徵（壓縮訓練模型），加入了標點符號的特徵（提高分詞準確率）等。 【開源中文分詞工具探析】系列： 1. 前言 THULAC所採用的分詞模型為結構化感知器（Structured Percep

開源中文分詞工具探析（五）：FNLP

FNLP是由Fudan NLP實驗室的邱錫鵬老師開源的一套Java寫就的中文NLP工具包，提供諸如分詞、詞性標註、文字分類、依存句法分析等功能。 【開源中文分詞工具探析】系列： 1. 前言 類似於THULAC，FNLP也是採用線性模型（linear model）分詞。較於對數線性模型（log-linea

開源中文分詞工具探析（三）：Ansj

Ansj是由孫健（ansjsun）開源的一箇中文分詞器，為ICTLAS的Java版本，也採用了Bigram + HMM分詞模型（可參考我之前寫的文章）：在Bigram分詞的基礎上，識別未登入詞，以提高分詞準確度。雖然基本分詞原理與ICTLAS的一樣，但是Ansj做了一些工程上的優化，比如：用DAT高效地實現檢

中文分詞工具探析（一）：ICTCLAS (NLPIR)

【開源中文分詞工具探析】系列： 1. 前言 ICTCLAS是張華平老師推出的中文分詞系統，於2009年更名為NLPIR。ICTCLAS是中文分詞界元老級工具了，作者開放出了free版本的原始碼（1.0整理版本在此). 作者在論文[1] 中宣稱ICTCLAS是基於HHMM（Hierarchical Hid

中文分詞工具探析（二）：Jieba

【開源中文分詞工具探析】系列： 1. 前言 Jieba是由fxsjy大神開源的一款中文分詞工具，一款屬於工業界的分詞工具——模型易用簡單、程式碼清晰可讀，推薦有志學習NLP或Python的讀一下原始碼。與採用分詞模型Bigram + HMM 的ICTCLAS 相類似，Jieba採用的是Unigram +

乾貨 | 史上最全中文分詞工具整理

作者 | fendouai 一．中文分詞  分詞服務介面列表 二．準確率評測： THULAC：與代表性分詞軟體的效能對比 我們選擇LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等國內具代表性的分詞軟體與THULAC做效能

對Python中文分詞模組結巴分詞演算法過程的理解和分析

結巴分詞是國內程式設計師用python開發的一箇中文分詞模組, 原始碼已託管在github, 地址在: https://github.com/fxsjy/jieba 作者的文件寫的不是很全, 只寫了怎麼用, 有一些細節的文件沒有寫. 以下是作者說明檔案中提到的結巴分

Python 中文分詞 NLPIR 快速搭建

前述 本篇文章寫完需要半個小時,閱讀需要十分鐘,讀完後,你將學會在Python中使用NLPIR,以及關於使用它的一些有用的基礎知識 NLPIR 是中科院的漢語分詞系統,在Python中使用也比較廣泛,而且曾多次奪得漢語分詞比賽的冠軍,並且其可以在多個語言上都