本文的目標有兩個：

1、學會使用11大Java開源中文分詞器

2、對比分析11大Java開源中文分詞器的分詞效果

本文給出了11大Java開源中文分詞的使用方法以及分詞結果對比程式碼，至於效果哪個好，那要用的人結合自己的應用場景自己來判斷。

11大Java開源中文分詞器，不同的分詞器有不同的用法，定義的介面也不一樣，我們先定義一個統一的介面：

Java程式碼 

1. /** 
2.  * 獲取文字的所有分詞結果, 對比不同分詞器結果 
3.  * @author 楊尚川 
4.  */  
5. public interface WordSegmenter {  
6.     /** 
7.      * 獲取文字的所有分詞結果 
8.      * @param text 文字 
9.      * @return 所有的分詞結果，去除重複 
10.      */  
11.     default public Set<String> seg(String text) {  
12.         return segMore(text).values().stream().collect(Collectors.toSet());  
13.     }  
14.     /** 
15.      * 獲取文字的所有分詞結果 
16.      * @param text 文字 
17.      * @return 所有的分詞結果，KEY 為分詞器模式，VALUE 為分詞器結果 
18.      */  
19.     public Map<String, String> segMore(String text);  
20. }  

從上面的定義我們知道，在Java中，同樣的方法名稱和引數，但是返回值不同，這種情況不可以使用過載。

這兩個方法的區別在於返回值，每一個分詞器都可能有多種分詞模式，每種模式的分詞結果都可能不相同，第一個方法忽略分詞器模式，返回所有模式的所有不重複分詞結果，第二個方法返回每一種分詞器模式及其對應的分詞結果。

在這裡，需要注意的是我們使用了Java8中的新特性預設方法，並使用stream把一個map的value轉換為不重複的集合。

下面我們利用這11大分詞器來實現這個介面：

1、word分詞器

Java程式碼 

1. @Override  
2. public Map<String, String> segMore(String text) {  
3.     Map<String, String> map = new HashMap<>();  
4.     for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){  
5.         map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));  
6.     }  
7.     return map;  
8. }  
9. private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {  
10.     StringBuilder result = new StringBuilder();  
11.     for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){  
12.         result.append(word.getText()).append(" ");  
13.     }  
14.     return result.toString();  
15. }  

2、Ansj分詞器

Java程式碼 

1. @Override  
2. public Map<String, String> segMore(String text) {  
3.     Map<String, String> map = new HashMap<>();  
4.   
5.     StringBuilder result = new StringBuilder();  
6.     for(Term term : BaseAnalysis.parse(text)){  
7.         result.append(term.getName()).append(" ");  
8.     }  
9.     map.put("BaseAnalysis", result.toString());  
10.   
11.     result.setLength(0);  
12.     for(Term term : ToAnalysis.parse(text)){  
13.         result.append(term.getName()).append(" ");  
14.     }  
15.     map.put("ToAnalysis", result.toString());  
16.   
17.     result.setLength(0);  
18.     for(Term term : NlpAnalysis.parse(text)){  
19.         result.append(term.getName()).append(" ");  
20.     }  
21.     map.put("NlpAnalysis", result.toString());  
22.   
23.     result.setLength(0);  
24.     for(Term term : IndexAnalysis.parse(text)){  
25.         result.append(term.getName()).append(" ");  
26.     }  
27.     map.put("IndexAnalysis", result.toString());  
28.   
29.     return map;  
30. }  

3、Stanford分詞器

Java程式碼 

1. private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");  
2. private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");  
3. private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);  
4. ​public Map<String, String> segMore(String text) {  
5.     Map<String, String> map = new HashMap<>();  
6.     map.put("Stanford Beijing University segmentation", seg(PKU, text));  
7.     map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));  
8.     return map;  
9. }  
10. private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){  
11.     PrintStream err = System.err;  
12.     System.setErr(NULL_PRINT_STREAM);  
13.     Annotation document = new Annotation(text);  
14.     stanfordCoreNLP.annotate(document);  
15.     List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);  
16.     StringBuilder result = new StringBuilder();  
17.     for(CoreMap sentence: sentences) {  
18.         for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {  
19.             String word = token.get(CoreAnnotations.TextAnnotation.class);;  
20.             result.append(word).append(" ");  
21.         }  
22.     }  
23.     System.setErr(err);  
24.     return result.toString();  
25. }  

4、FudanNLP分詞器

Java程式碼 

1. private static CWSTagger tagger = null;  
2. static{  
3.     try{  
4.         tagger = new CWSTagger("lib/fudannlp_seg.m");  
5.         tagger.setEnFilter(true);  
6.     }catch(Exception e){  
7.         e.printStackTrace();  
8.     }  
9. }  
10. @Override  
11. public Map<String, String> segMore(String text) {  
12.     Map<String, String> map = new HashMap<>();  
13.     map.put("FudanNLP", tagger.tag(text));  
14.     return map;  
15. }  

5、Jieba分詞器

Java程式碼 

1. private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();  
2. @Override  
3. public Map<String, String> segMore(String text) {  
4.     Map<String, String> map = new HashMap<>();  
5.     map.put("INDEX", seg(text, SegMode.INDEX));  
6.     map.put("SEARCH", seg(text, SegMode.SEARCH));  
7.     return map;  
8. }  
9. private static String seg(String text, SegMode segMode) {  
10.     StringBuilder result = new StringBuilder();                  
11.     for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){  
12.         result.append(token.word.getToken()).append(" ");  
13.     }  
14.     return result.toString();   
15. }  

6、Jcseg分詞器

Java程式碼 

1. private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();  
2. private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);  
3. static {  
4.     CONFIG.setLoadCJKSyn(false);  
5.     CONFIG.setLoadCJKPinyin(false);  
6. }  
7. @Override  
8. public Map<String, String> segMore(String text) {  
9.     Map<String, String> map = new HashMap<>();  
10.   
11.     map.put("複雜模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));  
12.     map.put("簡易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));  
13.   
14.     return map;  
15. }  
16. private String segText(String text, int segMode) {  
17.     StringBuilder result = new StringBuilder();          
18.     try {  
19.         ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});  
20.         IWord word = null;  
21.         while((word=seg.next())!=null) {           
22.             result.append(word.getValue()).append(" ");  
23.         }  
24.     } catch (Exception ex) {  
25.         throw new RuntimeException(ex);  
26.     }  
27.     return result.toString();  
28. }  

7、MMSeg4j分詞器

Java程式碼 

1. private static final Dictionary DIC = Dictionary.getInstance();  
2. private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);  
3. private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);  
4. private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);  
5. @Override  
6. public Map<String, String> segMore(String text) {  
7.     Map<String, String> map = new HashMap<>();  
8.     map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));  
9.     map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));  
10.     map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));  
11.     return map;  
12. }  
13. private String segText(String text, Seg seg) {  
14.     StringBuilder result = new StringBuilder();  
15.     MMSeg mmSeg = new MMSeg(new StringReader(text), seg);          
16.     try {  
17.         Word word = null;  
18.         while((word=mmSeg.next())!=null) {         
19.             result.append(word.getString()).append(" ");  
20.         }  
21.     } catch (IOException ex) {  
22.         throw new RuntimeException(ex);  
23.     }  
24.     return result.toString();  
25. }  

8、IKAnalyzer分詞器

Java程式碼 

1. @Override  
2. public Map<String, String> segMore(String text) {  
3.     Map<String, String> map = new HashMap<>();  
4.   
5.     map.put("智慧切分", segText(text, true));  
6.     map.put("細粒度切分", segText(text, false));  
7.   
8.     return map;  
9. }  
10. private String segText(String text, boolean useSmart) {  
11.     StringBuilder result = new StringBuilder();  
12.     IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);          
13.     try {  
14.         Lexeme word = null;  
15.         while((word=ik.next())!=null) {            
16.             result.append(word.getLexemeText()).append(" ");  
17.         }  
18.     } catch (IOException ex) {  
19.         throw new RuntimeException(ex);  
20.     }  
21.     return result.toString();  
22. }  

9、Paoding分詞器

Java程式碼 

1. private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();  
2. @Override  
3. public Map<String, String> segMore(String text) {  
4.     Map<String, String> map = new HashMap<>();  
5.   
6.     map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));  
7.     map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));  
8.       
9.     return map;  
10. }  
11. private static String seg(String text, int mode){  
12.     ANALYZER.setMode(mode);  
13.     StringBuilder result = new StringBuilder();  
14.     try {  
15.         Token reusableToken = new Token();  
16.         TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));  
17.         Token token = null;  
18.         while((token = stream.next(reusableToken)) != null){  
19.             result.append(token.term()).append(" ");  
20.         }  
21.     } catch (Exception ex) {  
22.         throw new RuntimeException(ex);  
23.     }  
24.     return result.toString();            
25. }  

10、smartcn分詞器

Java程式碼 

1. ​private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();  
2. ​@Override  
3. public Map<String, String> segMore(String text) {  
4.     Map<String, String> map = new HashMap<>();  
5.     map.put("smartcn", segText(text));  
6.     return map;  
7. }  
8. private static String segText(String text) {  
9.     StringBuilder result = new StringBuilder();  
10.     try {  
11.         TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));  
12.         tokenStream.reset();  
13.         while (tokenStream.incrementToken()){  
14.             CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);  
15.             result.append(charTermAttribute.toString()).append(" ");  
16.         }  
17.         tokenStream.close();  
18.     }catch (Exception e){  
19.         e.printStackTrace();  
20.     }  
21.     return result.toString();  
22. }  

 11、HanLP分詞器

Java程式碼 

1. private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);  
2. private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);  
3. @Override  
4. public Map<String, String> segMore(String text) {  
5.     Map<String, String> map = new HashMap<>();  
6.     map.put("標準分詞", standard(text));  
7.     map.put("NLP分詞", nlp(text));  
8.     map.put("索引分詞", index(text));  
9.     map.put("N-最短路徑分詞", nShort(text));  
10.     map.put("最短路徑分詞", shortest(text));  
11.     map.put("極速詞典分詞", speed(text));  
12.     return map;  
13. }  
14. private static String standard(String text) {  
15.     StringBuilder result = new StringBuilder();  
16.     StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
17.     return result.toString();  
18. }  
19. private static String nlp(String text) {  
20.     StringBuilder result = new StringBuilder();  
21.     NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
22.     return result.toString();  
23. }  
24. private static String index(String text) {  
25.     StringBuilder result = new StringBuilder();  
26.     IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
27.     return result.toString();  
28. }  
29. private static String speed(String text) {  
30.     StringBuilder result = new StringBuilder();  
31.     SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));  
32.     return result.toString();  
33. }  
34. private static String nShort(String text) {  
35.     StringBuilder result = new StringBuilder();  
36.     N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));  
37.     return result.toString();  
38. }  
39. private static String shortest(String text) {  
40.     StringBuilder result = new StringBuilder();  
41.     DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));  
42.     return result.toString();  
43. }  

現在我們已經實現了本文的第一個目的：學會使用11大Java開源中文分詞器。

最後我們來實現本文的第二個目的：對比分析11大Java開源中文分詞器的分詞效果，程式如下：

Java程式碼 

1. public static Map<String, Set<String>> contrast(String text){  
2.     Map<String, Set<String>> map = new LinkedHashMap<>();  
3.     map.put("word分詞器", new WordEvaluation().seg(text));  
4.     map.put("Stanford分詞器", new StanfordEvaluation().seg(text));  
5.     map.put("Ansj分詞器", new AnsjEvaluation().seg(text));  
6.     map.put("HanLP分詞器", new HanLPEvaluation().seg(text));  
7.     map.put("FudanNLP分詞器", new FudanNLPEvaluation().seg(text));  
8.     map.put("Jieba分詞器", new JiebaEvaluation().seg(text));  
9.     map.put("Jcseg分詞器", new JcsegEvaluation().seg(text));  
10.     map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().seg(text));  
11.     map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().seg(text));  
12.     map.put("smartcn分詞器", new SmartCNEvaluation().seg(text));  
13.     return map;  
14. }  
15. public static Map<String, Map<String, String>> contrastMore(String text){  
16.     Map<String, Map<String, String>> map = new LinkedHashMap<>();  
17.     map.put("word分詞器", new WordEvaluation().segMore(text));  
18.     map.put("Stanford分詞器", new StanfordEvaluation().segMore(text));  
19.     map.put("Ansj分詞器", new AnsjEvaluation().segMore(text));  
20.     map.put("HanLP分詞器", new HanLPEvaluation().segMore(text));  
21.     map.put("FudanNLP分詞器", new FudanNLPEvaluation().segMore(text));  
22.     map.put("Jieba分詞器", new JiebaEvaluation().segMore(text));  
23.     map.put("Jcseg分詞器", new JcsegEvaluation().segMore(text));  
24.     map.put("MMSeg4j分詞器", new MMSeg4jEvaluation().segMore(text));  
25.     map.put("IKAnalyzer分詞器", new IKAnalyzerEvaluation().segMore(text));  
26.     map.put("smartcn分詞器", new SmartCNEvaluation().segMore(text));  
27.     return map;  
28. }  
29. public static void show(Map<String, Set<String>> map){  
30.     map.keySet().forEach(k -> {  
31.         System.out.println(k + " 的分詞結果：");  
32.         AtomicInteger i = new AtomicInteger();  
33.         map.get(k).forEach(v -> {  
34.             System.out.println("\t" + i.incrementAndGet() + " 、" + v);  
35.         });  
36.     });  
37. }  
38. public static void showMore(Map<String, Map<String, String>> map){  
39.     map.keySet().forEach(k->{  
40.         System.out.println(k + " 的分詞結果：");  
41.         AtomicInteger i = new AtomicInteger();  
42.         map.get(k).keySet().forEach(a -> {  
43.             System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));  
44.         });  
45.     });  
46. }  
47. public static void main(String[] args) {  
48.     show(contrast("我愛楚離陌"));  
49.     showMore(contrastMore("我愛楚離陌"));  
50. }  

執行結果如下：

Java程式碼 

1. ********************************************  
2. word分詞器 的分詞結果：  
3.     1 、我 愛 楚離陌   
4. Stanford分詞器 的分詞結果：  
5.     1 、我 愛 楚 離陌   
6.     2 、我 愛 楚離陌   
7. Ansj分詞器 的分詞結果：  
8.     1 、我 愛 楚離 陌   
9.     2 、我 愛 楚 離 陌   
10. HanLP分詞器 的分詞結果：  
11.     1 、我 愛 楚 離 陌   
12. smartcn分詞器 的分詞結果：  
13.     1 、我 愛 楚 離 陌   
14. FudanNLP分詞器 的分詞結果：  
15.     1 、我 愛楚離陌  
16. Jieba分詞器 的分詞結果：  
17.     1 、我愛楚 離 陌   
18. Jcseg分詞器 的分詞結果：  
19.     1 、我 愛 楚 離 陌   
20. MMSeg4j分詞器 的分詞結果：  
21.     1 、我愛 楚 離 陌   
22. IKAnalyzer分詞器 的分詞結果：  
23.     1 、我 愛 楚 離 陌   
24. ********************************************  

Java程式碼 

1. ********************************************  
2. word分詞器 的分詞結果：  
3.     1 、【全切分演算法】  我 愛 楚離陌   
4.     2 、【雙向最大最小匹配演算法】 我 愛 楚離陌   
5.     3 、【正向最大匹配演算法】   我 愛 楚離陌   
6.     4 、【雙向最大匹配演算法】   我 愛 楚離陌   
7.     5 、【逆向最大匹配演算法】   我 愛 楚離陌   
8.     6 、【正向最小匹配演算法】   我 愛 楚離陌   
9.     7 、【雙向最小匹配演算法】   我 愛 楚離陌   
10.     8 、【逆向最小匹配演算法】   我 愛 楚離陌   
11. Stanford分詞器 的分詞結果：  
12.     1 、【Stanford Chinese Treebank segmentation】 我 愛 楚離陌   
13.     2 、【Stanford Beijing University segmentation】   我 愛 楚 離陌   
14. Ansj分詞器 的分詞結果：  
15.     1 、【BaseAnalysis】   我 愛 楚 離 陌   
16.     2 、【IndexAnalysis】  我 愛 楚 離 陌   
17.     3 、【ToAnalysis】 我 愛 楚 離 陌   
18.     4 、【NlpAnalysis】    我 愛 楚離 陌   
19. HanLP分詞器 的分詞結果：  
20.     1 、【NLP分詞】  我 愛 楚 離 陌   
21.     2 、【標準分詞】   我 愛 楚 離 陌   
22.     3 、【N-最短路徑分詞】   我 愛 楚 離 陌   
23.     4 、【索引分詞】   我 愛 楚 離 陌   
24.     5 、【最短路徑分詞】 我 愛 楚 離 陌   
25.     6 、【極速詞典分詞】 我 愛 楚 離 陌   
26. smartcn分詞器 的分詞結果：  
27.     1 、【smartcn】    我 愛 楚 離 陌   
28. FudanNLP分詞器 的分詞結果：  
29.     1 、【FudanNLP】   我 愛楚離陌  
30. Jieba分詞器 的分詞結果：  
31.     1 、【SEARCH】 我愛楚 離 陌   
32.     2 、【INDEX】  我愛楚 離 陌   
33. Jcseg分詞器 的分詞結果：  
34.     1 、【簡易模式】   我 愛 楚 離 陌   
35.     2 、【複雜模式】   我 愛 楚 離 陌   
36. MMSeg4j分詞器 的分詞結果：  
37.     1 、【SimpleSeg】  我愛 楚 離 陌   
38.     2 、【ComplexSeg】 我愛 楚 離 陌   
39.     3 、【MaxWordSeg】 我愛 楚 離 陌   
40. IKAnalyzer分詞器 的分詞結果：  
41.     1 、【智慧切分】   我 愛 楚 離 陌   
42.     2 、【細粒度切分】  我 愛 楚 離 陌   
43. ********************************************  

 完整程式碼看這裡​