1. 程式人生 > >solr 中文分詞mmeseg4j與ik analyzer效果對比

solr 中文分詞mmeseg4j與ik analyzer效果對比

摘要: 之前用solr6成功集成了中文分詞mmeseg4j,也順利整合了ik analyzer,對比一下他們分詞的效果。

  1. 1884年,中法戰爭時被派福建會辦海疆事務。
    ik analyzer:1884 | 年 | 中法戰爭 | 中法 | 戰爭 | 時 | 派| 福建 | 會辦 | 海疆 | 事務
    mmeseg4j_simple:1884 | 年 | 中法 | 戰爭 | 時 | 被 | 派| 福建 | 會辦 | 海疆 | 事務
    mmeseg4j_maxword:1884 | 年 | 中法 | 戰爭 | 時 | 被 | 派| 福建 | 會辦 | 海疆 | 事務
    mmeseg4j_complex:1884 | 年 | 中法 | 戰爭 | 時 | 被 | 派| 福建 | 會辦 | 海疆 | 事務
  2. 2000年中法國足球比賽
    ik analyzer:2000 | 年中 | 中 | 中法 | 中 | 法國 | 國足 | 足球 | 比賽 | 足球比賽
    mmeseg4j_simple:2000 | 年 | 中法 | 國 | 足球比賽
    mmeseg4j_maxword:2000 | 年 | 中法 | 國 | 足球 | 比賽
    mmeseg4j_complex:2000 | 年 | 中法 | 國 | 足球比賽
  3. 雲天落日圓 偷歡不成倒大黴
    ik analyzer:雲天 | 落日 | 日圓 | 偷歡 | 倒大黴
    mmeseg4j_simple:雲天 | 落日 | 圓 | 偷歡 | 不成 | 倒 | 大黴
    mmeseg4j_maxword:雲天 | 落 | 日圓 | 偷歡 | 不成 | 倒 | 大黴
    mmeseg4j_complex:雲天 | 落 | 日圓 | 偷歡 | 不成 | 倒 | 大黴
  4. 中國人民銀行
    ik analyzer:中國人民銀行 | 中國人民 | 中國人 | 中國 | 國人 | 人民銀行 | 銀行
    mmeseg4j_simple:中國人民銀行
    mmeseg4j_maxword:中國 | 國人 | 人民 | 銀行
    mmeseg4j_complex:中國人民銀行
  5. 我們家門前的大水溝很難過
    ik analyzer:我們家 | 家門 | 門前 | 大水溝 | 大水| 水溝 | 很難 | 難過
    mmeseg4j_simple:我們 | 家門 | 前 | 的 | 大水 | 溝 | 很難 | 過
    mmeseg4j_maxword:我們 | 家門 | 前 | 的 | 大水 | 溝 | 很難 | 過
    mmeseg4j_complex:我們 | 家門 | 前 | 的 | 大水 | 溝 | 很難 | 過
  6. 我愛北京天安門
    ik analyzer:愛 | 北京 | 天安門 | 天安 | 門
    mmeseg4j_simple:我愛 | 北京 | 天安門
    mmeseg4j_maxword:我愛 | 北京 | 天安 | 門
    mmeseg4j_complex:我愛 | 北京 | 天安門
  7. 研究生命起源
    ik analyzer:研究生 | 研究 | 生命 | 起源
    mmeseg4j_simple:研究生 | 命 | 起源
    mmeseg4j_maxword:研究 | 生命 | 起源
    mmeseg4j_complex:研究 | 生命 | 起源
  8. 受一股來自中西伯利亞的強冷空氣影響
    ik analyzer:受 | 一股 | 股 | 來自 | 中西 | 西伯利亞 | 西伯 |伯利 | 亞 | 強冷空氣 | 冷空氣 | 空氣 | 影響
    mmeseg4j_simple:受 | 一股 | 來自 | 中西 | 伯 | 利 | 亞 | 的 | 強 | 冷空氣 | 影響
    mmeseg4j_maxword:受 | 一股 | 來自 | 中 | 西 | 伯 | 利 | 亞 | 的 | 強 | 冷 | 空氣 | 影響
    mmeseg4j_complex:受 | 一股 | 來自 | 中 | 西伯利亞 | 的 | 強 | 冷空氣 | 影響

整體來看,ik analyzer的分詞效果要好一些,雖然mmeseg4j有多種分詞模式,但是simple和complex的效果相差甚微,而maxword模式往往不能起到分詞效果。