.

一、中文分詞工具

(1)Jieba

(2)snowNLP分詞工具

(3)thulac分詞工具

(4)pynlpir 分詞工具

(5)StanfordCoreNLP分詞工具

1.from stanfordcorenlp import StanfordCoreNLP

2.with StanfordCoreNLP(r'E:\Users\Eternal Sun\PycharmProjects\1\venv\Lib\stanford-corenlp-full-2018-10-05', lang='zh') as nlp:

3.    print("stanfordcorenlp分詞:\n",nlp.word_tokenize(Chinese))

(6)Hanlp分詞工具

分詞結果如下:

二、英文分詞工具

 

1. NLTK:

二者之間的區別在於,如果先分句再分詞,那麼將保留句子的獨立性,即生成結果是一個二維列表,而對於直接分詞來說,生成的是一個直接的一維列表,結果如下:

2. SpaCy:

 

3. StanfordCoreNLP:

分詞結果

相關文章