2. 程式人生 > >ElasticSearch學習筆記（二）IK分詞器和拼音分詞器的安裝

ElasticSearch學習筆記（二）IK分詞器和拼音分詞器的安裝

阿新 • • 發佈：2018-12-22

ElasticSearch是自帶分詞器的，但是自帶的分詞器一般就只能對英文分詞，對英文的分詞只要識別空格就好了，還是很好做的（ES的這個分詞器和Lucene的分詞器很想，是不是直接使用Lucene的就不知道），自帶的分詞器對於中文就只能分成一個字一個字，這個顯然是不能滿足在開發中的要求的。

先看看自帶的分詞器的分詞效果（還是使用Sense工具）：

POST /_analyze
{
  "analyzer":"standard",
  "text":"中華人民共和國國歌"
}

得到的結果是下面這個：

{
   "tokens": [
      {
         "token": "中"
 
,
         "start_offset": 0,
         "end_offset": 1,
         "type": "<IDEOGRAPHIC>",
         "position": 0
      },
      {
         "token": "華",
         "start_offset": 1,
         "end_offset": 2,
         "type": "<IDEOGRAPHIC>",
         "position": 1
      },
      {
         "token
 
": "人",
         "start_offset": 2,
         "end_offset": 3,
         "type": "<IDEOGRAPHIC>",
         "position": 2
      },
      {
         "token": "民",
         "start_offset": 3,
         "end_offset": 4,
         "type": "<IDEOGRAPHIC>",
         "position": 3
      },
      {
         "token
 
": "共",
         "start_offset": 4,
         "end_offset": 5,
         "type": "<IDEOGRAPHIC>",
         "position": 4
      },
      {
         "token": "和",
         "start_offset": 5,
         "end_offset": 6,
         "type": "<IDEOGRAPHIC>",
         "position": 5
      },
      {
         "token": "國",
         "start_offset": 6,
         "end_offset": 7,
         "type": "<IDEOGRAPHIC>",
         "position": 6
      },
      {
         "token": "國",
         "start_offset": 7,
         "end_offset": 8,
         "type": "<IDEOGRAPHIC>",
         "position": 7
      },
      {
         "token": "歌",
         "start_offset": 8,
         "end_offset": 9,
         "type": "<IDEOGRAPHIC>",
         "position": 8
      }
   ]
}

IK分詞器的安裝

在ES中，從資料來看好像都是使用IK分詞器的，所以這篇部落格配的也是IK分詞器，有興趣的同學可以自己去試試其他的分詞器（我是用過的有MMSeg4j ，NPL，jieba）。

如果是在window下：

從這個地址上把專案clone下來或者直接下載zip下來

https://github.com/medcl/elasticsearch-analysis-ik

拉下來的專案是maven專案的，需要電腦上已經安裝了maven。主意下載下來的elasticsearch的版本要和你正在用的同一個版本，或者在pom.xml修改成對應的版本號：

<properties>
        <!--Elasticsearch的版本號-->
        <elasticsearch.version>5.5.0</elasticsearch.version>
        <!--JDK的版本-->
        <maven.compiler.target>1.8</maven.compiler.target>
        <elasticsearch.assembly.descriptor>${project.basedir}/src/main/assemblies/plugin.xml</elasticsearch.assembly.descriptor>
        <elasticsearch.plugin.name>analysis-ik</elasticsearch.plugin.name>
        <elasticsearch.plugin.classname>org.elasticsearch.plugin.analysis.ik.AnalysisIkPlugin</elasticsearch.plugin.classname>
        <elasticsearch.plugin.jvm>true</elasticsearch.plugin.jvm>
        <tests.rest.load_packaged>false</tests.rest.load_packaged>
        <skip.unit.tests>true</skip.unit.tests>
        <gpg.keyname>4E899B30</gpg.keyname>
        <gpg.useagent>true</gpg.useagent> 
    </properties>

然後使用下面的命令打包一下專案：

mvn package

如果成功的話會在target/releases下有一個zip壓縮包elasticsearch-analysis-ik-5.5.0.zip
這個壓縮包就是我們待會要用的。

注意到上面的pom.xml檔案中使用的JDK1.8，如果電腦是之前安裝的maven，而且恰好使用的JDK1.7的maven，mvn package是會報錯的，這個使用需要找到maven下的setting檔案，然後將JDK版本改成1.8之後，重新mvn package應該就可以了。

      <profile>       
           <id>jdk-1.8</id>       
           <activation>       
               <activeByDefault>true</activeByDefault>       
               <jdk>1.8</jdk>       
           </activation>       
           <properties>       
               <maven.compiler.source>1.8</maven.compiler.source>       
               <maven.compiler.target>1.8</maven.compiler.target>       
               <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>       
           </properties>       
   </profile>

再注意，這個不能像之前修改像之前修改elasticsearch版本號一樣，直接在pom.xml檔案中將jdk改成1.7，因為專案中使用到了jdk1.8的新特性，這樣修改之後專案本身會報錯的。

如果還是無法使用mvn package打包專案的話，可以把專案拉進eclipse中，然後右鍵run–>maven install，可以達到同樣的效果。

然後把剛剛得到的elasticsearch-analysis-ik-5.5.0.zip上傳到伺服器。需要把這個檔案elasticsearch-5.5.0/plugins/ik這個路徑下；

解壓壓縮包：

unzip elasticsearch-analysis-ik-5.5.0.zip

到這一步基本上elasticsearch的ik分詞器就安裝好了。示例待會說，下面將一個可能遇到的問題：

如果伺服器上沒有安裝unzip功能的話，可以使用下面的命令列安裝

yum install -y unzip zip

如果服務沒有安裝上傳下載功能的，可以使用下面的方法安裝

yum install -y lrzsz

然後輸入下面命令列就會彈出一個視窗，選擇檔案上傳到伺服器上就可以。

rz

順便說一下，使用下面的命令可以將伺服器上的檔案下載到本地。

sz XXX(下載的檔名)

如果是在linux下：
之前的那些操作之所以在windows下完成是因為在linux環境下很多簡單的操作都要輸入很多命令列，如果有報錯不容易除錯，但是如果可以保證linux下的功能比較完整的話，伺服器上起碼安裝了Git和maven的，可以直接在linux下完成這些功能的：
把專案從github克隆下來

git clone https://github.com/medcl/elasticsearch-analysis-ik.git

如果需要修改elasticsearch版本的，修改一下版本號，然後打包專案

maven package

而後把target/release下的壓縮包移動到elasticsearch下plugins下解壓就OK了。

接下來重啟一下elasticsearch服務，如果出現下面的圖片就基本上算是安裝成功了。說明了elasticsearch就載入成功了。
這裡寫圖片描述

在sense中測試一下，IK中有兩種分詞器，一種是ik_max_word另一種是ik_smart，分別會最大粒度的分詞和最小粒度的分詞：

POST /_analyze
{
  "analyzer":"ik_max_word",
  "text":"中華人民共和國國歌"
}

會得到

{
   "tokens": [
      {
         "token": "中華人民共和國",
         "start_offset": 0,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 0
      },
      {
         "token": "中華人民",
         "start_offset": 0,
         "end_offset": 4,
         "type": "CN_WORD",
         "position": 1
      },
      {
         "token": "中華",
         "start_offset": 0,
         "end_offset": 2,
         "type": "CN_WORD",
         "position": 2
      },
      {
         "token": "華人",
         "start_offset": 1,
         "end_offset": 3,
         "type": "CN_WORD",
         "position": 3
      },
      {
         "token": "人民共和國",
         "start_offset": 2,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 4
      },
      {
         "token": "人民",
         "start_offset": 2,
         "end_offset": 4,
         "type": "CN_WORD",
         "position": 5
      },
      {
         "token": "共和國",
         "start_offset": 4,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 6
      },
      {
         "token": "共和",
         "start_offset": 4,
         "end_offset": 6,
         "type": "CN_WORD",
         "position": 7
      },
      {
         "token": "國",
         "start_offset": 6,
         "end_offset": 7,
         "type": "CN_CHAR",
         "position": 8
      },
      {
         "token": "國歌",
         "start_offset": 7,
         "end_offset": 9,
         "type": "CN_WORD",
         "position": 9
      }
   ]
}

如果是

POST /_analyze
{
  "analyzer":"ik_smart",
  "text":"中華人民共和國國歌"
}

會得到

{
   "tokens": [
      {
         "token": "中華人民共和國",
         "start_offset": 0,
         "end_offset": 7,
         "type": "CN_WORD",
         "position": 0
      },
      {
         "token": "國歌",
         "start_offset": 7,
         "end_offset": 9,
         "type": "CN_WORD",
         "position": 1
      }
   ]
}

基本上這樣就把IK分詞器安裝成功了。

拼音分詞器的安裝

拼音分詞器的安裝和Ik的安裝基本上是相同的

https://github.com/medcl/elasticsearch-analysis-pinyin

講專案拉下來，打包專案，將target/release下的壓縮包移動到elasticsearch-5.5.0下的plugins下，重啟一下elasticsearch就可以了。

測試一下：

POST /_analyze
{
    "analyzer":"pinyin",
    "text":"中華人民共和國國歌"
}

得到

{
   "tokens": [
      {
         "token": "zhong",
         "start_offset": 0,
         "end_offset": 1,
         "type": "word",
         "position": 0
      },
      {
         "token": "zhrmghggg",
         "start_offset": 0,
         "end_offset": 9,
         "type": "word",
         "position": 0
      },
      {
         "token": "hua",
         "start_offset": 1,
         "end_offset": 2,
         "type": "word",
         "position": 1
      },
      {
         "token": "ren",
         "start_offset": 2,
         "end_offset": 3,
         "type": "word",
         "position": 2
      },
      {
         "token": "min",
         "start_offset": 3,
         "end_offset": 4,
         "type": "word",
         "position": 3
      },
      {
         "token": "gong",
         "start_offset": 4,
         "end_offset": 5,
         "type": "word",
         "position": 4
      },
      {
         "token": "he",
         "start_offset": 5,
         "end_offset": 6,
         "type": "word",
         "position": 5
      },
      {
         "token": "guo",
         "start_offset": 6,
         "end_offset": 7,
         "type": "word",
         "position": 6
      },
      {
         "token": "guo",
         "start_offset": 7,
         "end_offset": 8,
         "type": "word",
         "position": 7
      },
      {
         "token": "ge",
         "start_offset": 8,
         "end_offset": 9,
         "type": "word",
         "position": 8
      }
   ]
}

順便說一下，在這些分詞結果在處理的時候，就會被存進索引，搜尋的時候，如果輸入“國歌”，“guoge”，“zhrmghggg”，“中國人民共和國國歌”，那麼中華人民共和國國歌就會被索引到。

相關推薦

ElasticSearch學習筆記（二）IK分詞器和拼音分詞器的安裝

ElasticSearch是自帶分詞器的，但是自帶的分詞器一般就只能對英文分詞，對英文的分詞只要識別空格就好了，還是很好做的（ES的這個分詞器和Lucene的分詞器很想，是不是直接使用Lucene的就不知道），自帶的分詞器對於中文就只能分成一個字一個字，這個顯然

Android百度地圖開發學習筆記（二）之定位當前位置和自定義控制元件返回

在完成HelloMap後，接來完成的重要功能是如何定位當前位置和如何一鍵返回。效果圖如下： 這裡的控制元件就是一個ImageView，自己去百度一個好看的圖片就可以了。 一 定位當前位置和自定義控制元件返回 1.官方技術文件 可以先點選百度地圖定位技術文件，仔細看一下相關

iOS開發學習筆記 -- （二）動態新增控制元件和事件處理

剛開始學iOS開發的時候，經常要跟interface builder打交道，乍一看拖控制元件是挺方便的，跟以前做C#開發類似，但是Xcode比較噁心的一點是，拖完控制元件之後，還得手動地在Connections Inspector中繫結控制元件和變數的關係，事件的繫結也在這

Elasticsearch學習筆記（四）ElasticSearch分布式機制

clas cse 負載均衡 丟失 數據 不可 分布式 復雜 發生 一、Elasticsearch對復雜分布式機制透明的隱藏特性 1、分片機制： （1）index包含多個shard，每個shard都是一個最小工作單元，承載部分數據，lucen

ElasticSearch學習筆記（九）Java AP實現搜尋，排序，高亮，分頁

雖然上一篇中的對索引的搜尋可以在一定程度上獲取索引的資訊，但是畢竟功能是有限的，本篇主要是對elasticsearch使用javaAPI實現搜尋功能的筆記。 一、搜尋 package test; import static org.elastics

ES[7.6.x]學習筆記（七）IK中文分詞器

在上一節中，我們給大家介紹了ES的分析器，我相信大家對ES的全文搜尋已經有了深刻的印象。分析器包含3個部分：字元過濾器、分詞器、分詞過濾器。在上一節的例子，大家發現了，都是英文的例子，是吧？因為ES是外國人寫的嘛，中國如果要在這方面趕上來，還是需要螢幕前的小夥伴們的~ 英文呢，我們可以按照空格將一句話、一

php laravel框架學習筆記 （二） 數據庫操作

true 數據 mar sql show top 一行 ati del 原博客鏈接：http://www.cnblogs.com/bitch1319453/p/6810492.html mysql基本配置 你可用通過配置環境變量，使用cmd進入mysql，當然還有一種東

java學習筆記（二）圖形用戶接口

star strong per getwidth cep runnable graphics s2d gb2 這個學期主要放在ACM比賽上去了，比賽結束了。不知不覺就15周了，這周就要java考試了，復習一下java吧。java的學習的目的還是讓我們學以致用，讓我們可以

數據結構學習筆記（二） 線性表的順序存儲和鏈式存儲

出錯 初始化 node != test span 輸入 des val 線性表：由同類型數據元素構成有序序列的線性結構　　--》表中元素的個數稱為線性表的長度　　--》沒有元素時，成為空表　　--》表起始位置稱表頭，表結束位置稱表尾 順序存儲： 　　 1 package

Memcache 學習筆記（二）---- PHP 腳本操作 Memcache 服務器

ext status ram var_dump 介紹 修改 memcache local dbn 　　 PHP 腳本操作 Memcache 服務器 一、PHP腳本操作Memcache方法 　　　　使用 PHP 腳本操作 Memcache，在 PHP 手冊中有詳細的介紹，我們

javascript學習筆記（二）：定義函數、調用函數、參數、返回值、局部和全局變量

兩個 cnblogs bsp 結果 value ava ase com 調用 定義函數、調用函數、參數、返回值 關鍵字function定義函數，格式如下： function 函數名(){ 函數體 } 調用函數、參數、返回值的規則和c語言規則類似。 1 <!DOC

神箭手爬蟲學習筆記（二）

暫存 自動 表達 eve doc 常用 學習 數據 .sh 一，可以使用神劍手已經做好的爬蟲市場直接跑，不需要自己定義爬取規則 二，爬蟲市場裏沒有的網站，需要自己去定義規則來爬數據。 三，爬取的數據可以先存放在神劍手，也可以放到七牛暫存。（提醒下，網站需要數據備份如果數量不

thinkphp5.0學習筆記（二）API後臺處理與命名空間

mac code 輸入 -1 pub 基礎 select() color 第一個 命名空間 先來看命名空間吧； 命名空間是學習TP的基礎， <?php namespace app\lian\c1; class yi{ public $obj = "這是第一個

MongoDB學習筆記（二）

.get 條件過濾 條件 $set system.in ins version tle 不存在 一、Mongodb命令 說明：Mongodb命令是區分大小寫的，使用的命名規則是駝峰命名法。 對於database和collection無需主動創建，在插入數據時，如果dat

設計模式學習筆記（二） 設計基本原則之【單一職責原則】

code 分享 開發者 實際應用 需要 ret ext file類 tor 單一職責原則（SRP： Single Responsibility Principle） 名詞解釋： 1） 職責：是指類變化的原因。 2） 職責擴散：就是因為某種原因，職責P被分化為粒度更細的職責P

CSS學習筆記（二）：特性

code 背景色 左移 line tex lin 安裝 其中 cas 一、顏色特性 1. 前景色：color 用種方式指定前景色，3種方式分別是rgb顏色，#16進制編碼，顏色名稱： color: rgb(100,100,100); color: #ee3e80; col

tensorflow學習筆記（二）

example initial turn rate mnist pac rac test mode import tensorflow as tfimport numpy as npimport mathimport tensorflow.examples.tutorial

SSH學習筆記（二）

via linu inf 一段時間 isp x-window window max tcl 1 # 1. 關於 SSH Server 的整體設定，包含使用的 port 啦，以及使用的密碼演算方式 2 Port 22　　　　　　　　　　# SSH 預設使用 22 這

Git學習筆記（二）

== 我們 ash 發出 效率 媳婦兒 src 每天 apply 一、分支管理 1、什麽是分支 　　分支就相當於我們看科幻片裏的平行宇宙，如果兩個平行宇宙互不幹擾，那鐵定是啥事兒沒有。不過，在某個時間點，兩個平行宇宙合並了呢？假如兩個宇宙中都有你的影子， 合並之後相當於你們

MySql學習筆記（二）

ati 保存 ron setting mysql的安裝 use t-sql語句 cnblogs 完全卸載mysql MySql的安裝配置與卸載： 安裝：(1)將MySql的綠色版免安裝包放到D盤，命令行進入mysql綠色版解壓縮後的bin目錄：cd D:\mysql-5.