2. 程式人生 > >elasticsearch 安裝Ik+pinyin分詞配置詳解

elasticsearch 安裝Ik+pinyin分詞配置詳解

阿新 • • 發佈：2018-12-16

一、拼音分詞的應用

拼音分詞在日常生活中其實很常見，也許你每天都在用。開啟淘寶看一看吧,輸入拼音”zhonghua”,下面會有包含”zhonghua”對應的中文”中華”的商品的提示：

拼音分詞是根據輸入的拼音提示對應的中文，通過拼音分詞提升搜尋體驗、加快搜索速度。下面介紹如何在Elasticsearch 5.1.1中配置和實現pinyin+iK分詞。

二、IK分詞器下載與安裝

關於IK分詞器的介紹不再多少，一言以蔽之，IK分詞是目前使用非常廣泛分詞效果比較好的中文分詞器。做ES開發的，中文分詞十有八九使用的都是IK分詞器。

下載地址:https://github.com/medcl/elasticsearch-analysis-ik

  配置之前關閉elasticsearch，配置完成以後再重啟。  IK的版本要和當前ES的版本一致，README中有說明。我使用的是ES是5.1.1，IK的版本為5.1.1(你也許會奇怪為什麼IK上一個版本是1.X,下一個版本一下升到5.X?是因為Elastic官方為了統一版本號，之前es的版本是2.x,logstash的版本是2.x,同時Kibana的版本是4.x，ik的版本是1.x，這樣版本很混亂。5.0之後，統一版本號，這樣你使用5.1.1的es，其它軟體的版本也使用5.1.1就好了)。

下載之後進入到elasticsearch-analysis-pinyin-master目錄，mvn打包(沒有安裝maven的自行安裝)，執行命令：

    mvn package
  • 1

打包成功以後，會生成一個target資料夾，在elasticsearch-analysis-ik-master/target/releases目錄下，找到elasticsearch-analysis-ik-5.1.1.zip，這就是我們需要的安裝檔案。解壓elasticsearch-analysis-ik-5.1.1.zip，得到下面內容：

commons-codec-1.9.jar
commons-logging-1.2.jar
config
elasticsearch-analysis-ik-5.1.1.jar
httpclient-4.5.2.jar
httpcore-4.4.4.jar
plugin-descriptor.properties
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

然後在elasticsearch-5.1.1/plugins目錄下新建一個資料夾ik，把elasticsearch-analysis-ik-5.1.1.zip解壓後的檔案拷貝到elasticsearch-5.1.1/plugins/ik目錄下.截圖方便理解。 

三、pinyin分詞器下載與安裝

安裝過程和IK一樣，下載、打包、加入ES。這裡不在重複上述步驟，給出最後配置截圖 

四、分詞測試

IK和pinyin分詞配置完成以後，重啟ES。如果重啟過程中ES報錯，說明安裝有錯誤，沒有報錯說明配置成功。

4.1 IK分詞測試

建立一個索引:

curl -XPUT "http://localhost:9200/index"
  • 1

測試分詞效果:

curl -XPOST "http://localhost:9200/index/_analyze?analyzer=ik_max_word&text=中華人民共和國"
  • 1

分詞結果:

   {
    "tokens": [{
        "token": "中華人民共和國",
        "start_offset": 0,
        "end_offset": 7,
        "type": "CN_WORD",
        "position": 0
    }, {
        "token": "中華人民",
        "start_offset": 0,
        "end_offset": 4,
        "type": "CN_WORD",
        "position": 1
    }, {
        "token": "中華",
        "start_offset": 0,
        "end_offset": 2,
        "type": "CN_WORD",
        "position": 2
    }, {
        "token": "華人",
        "start_offset": 1,
        "end_offset": 3,
        "type": "CN_WORD",
        "position": 3
    }, {
        "token": "人民共和國",
        "start_offset": 2,
        "end_offset": 7,
        "type": "CN_WORD",
        "position": 4
    }, {
        "token": "人民",
        "start_offset": 2,
        "end_offset": 4,
        "type": "CN_WORD",
        "position": 5
    }, {
        "token": "共和國",
        "start_offset": 4,
        "end_offset": 7,
        "type": "CN_WORD",
        "position": 6
    }, {
        "token": "共和",
        "start_offset": 4,
        "end_offset": 6,
        "type": "CN_WORD",
        "position": 7
    }, {
        "token": "國",
        "start_offset": 6,
        "end_offset": 7,
        "type": "CN_CHAR",
        "position": 8
    }, {
        "token": "國歌",
        "start_offset": 7,
        "end_offset": 9,
        "type": "CN_WORD",
        "position": 9
    }]
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63

使用ik_smart分詞:

curl -XPOST "http://localhost:9200/index/_analyze?analyzer=ik_smart&text=中華人民共和國"
  • 1

分詞結果:

{
    "tokens": [{
        "token": "中華人民共和國",
        "start_offset": 0,
        "end_offset": 7,
        "type": "CN_WORD",
        "position": 0
    }, {
        "token": "國歌",
        "start_offset": 7,
        "end_offset": 9,
        "type": "CN_WORD",
        "position": 1
    }]
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

截圖方便理解: 

4.2拼音分詞測試

測試拼音分詞:

curl -XPOST "http://localhost:9200/index/_analyze?analyzer=pinyin&text=張學友"
  • 1

分詞結果:

{
    "tokens": [{
        "token": "zhang",
        "start_offset": 0,
        "end_offset": 1,
        "type": "word",
        "position": 0
    }, {
        "token": "xue",
        "start_offset": 1,
        "end_offset": 2,
        "type": "word",
        "position": 1
    }, {
        "token": "you",
        "start_offset": 2,
        "end_offset": 3,
        "type": "word",
        "position": 2
    }, {
        "token": "zxy",
        "start_offset": 0,
        "end_offset": 3,
        "type": "word",
        "position": 3
    }]
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27

五、IK+pinyin分詞配置

5.1建立索引與分析器設定

建立一個索引，並設定index分析器相關屬性:

curl -XPUT "http://localhost:9200/medcl/" -d'
{
    "index": {
        "analysis": {
            "analyzer": {
                "ik_pinyin_analyzer": {
                    "type": "custom",
                    "tokenizer": "ik_smart",
                    "filter": ["my_pinyin", "word_delimiter"]
                }
            },
            "filter": {
                "my_pinyin": {
                    "type": "pinyin",
                    "first_letter": "prefix",
                    "padding_char": " "
                }
            }
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

建立一個type並設定mapping:

curl -XPOST http://localhost:9200/medcl/folks/_mapping -d'
{
    "folks": {
        "properties": {
            "name": {
                "type": "keyword",
                "fields": {
                    "pinyin": {
                        "type": "text",
                        "store": "no",
                        "term_vector": "with_positions_offsets",
                        "analyzer": "ik_pinyin_analyzer",
                        "boost": 10
                    }
                }
            }
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

5.2索引測試文件

索引2份測試文件。  文件1:

curl -XPOST http://localhost:9200/medcl/folks/andy -d'{"name":"劉德華"}'
  • 1

文件2:

curl -XPOST http://localhost:9200/medcl/folks/tina -d'{"name":"中華人民共和國國歌"}'
  • 1

5.3測試(1)拼音分詞

下面四條命命令都可以匹配”劉德華”

curl -XPOST "http://localhost:9200/medcl/folks/_search?q=name.pinyin:liu"

curl -XPOST "http://localhost:9200/medcl/folks/_search?q=name.pinyin:de"

curl -XPOST "http://localhost:9200/medcl/folks/_search?q=name.pinyin:hua"

curl -XPOST "http://localhost:9200/medcl/folks/_search?q=name.pinyin:ldh"
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

5.4測試(2)IK分詞測試

curl -XPOST "http://localhost:9200/medcl/_search?pretty" -d'
{
  "query": {
    "match": {
      "name.pinyin": "國歌"
    }
  },
  "highlight": {
    "fields": {
      "name.pinyin": {}
    }
  }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

返回結果:

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 16.698704,
    "hits" : [
      {
        "_index" : "medcl",
        "_type" : "folks",
        "_id" : "tina",
        "_score" : 16.698704,
        "_source" : {
          "name" : "中華人民共和國國歌"
        },
        "highlight" : {
          "name.pinyin" : [
            "<em>中華人民共和國</em><em>國歌</em>"
          ]
        }
      }
    ]
  }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

說明IK分詞器起到了效果。

5.3測試(4)pinyin+ik分詞測試：

curl -XPOST "http://localhost:9200/medcl/_search?pretty" -d'
{
  "query": {
    "match": {
      "name.pinyin": "zhonghua"
    }
  },
  "highlight": {
    "fields": {
      "name.pinyin": {}
    }
  }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

返回結果:

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 5.9814634,
    "hits" : [
      {
        "_index" : "medcl",
        "_type" : "folks",
        "_id" : "tina",
        "_score" : 5.9814634,
        "_source" : {
          "name" : "中華人民共和國國歌"
        },
        "highlight" : {
          "name.pinyin" : [
            "<em>中華人民共和國</em>國歌"
          ]
        }
      },
      {
        "_index" : "medcl",
        "_type" : "folks",
        "_id" : "andy",
        "_score" : 2.2534127,
        "_source" : {
          "name" : "劉德華"
        },
        "highlight" : {
          "name.pinyin" : [
            "<em>劉德華</em>"
          ]
        }
      }
    ]
  }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43

截圖如下: 

使用pinyin分詞以後，原始的欄位搜尋要加上.pinyin字尾，搜尋原始欄位沒有返回結果：

六、參考資料

相關推薦

elasticsearch 安裝Ik+pinyin分詞配置詳解

一、拼音分詞的應用 拼音分詞在日常生活中其實很常見，也許你每天都在用。開啟淘寶看一看吧,輸入拼音”zhonghua”,下面會有包含”zhonghua”對應的中文”中華”的商品的提示： 拼音分詞是根據輸入的拼音提示對應的中文，通過拼音分詞提升搜尋體驗、加

ElesticSearch IK中文分詞使用詳解

一、前言對於ES IK分詞外掛在中文檢索中非常常用，本人也使用了挺久的。但知識細節一直很碎片化，一直沒有做詳細的整理。過一段時間用的話，也是依然各種找資料，也因此會降低開發效率。所以在有空的時候好好整理下相關資料。也希望本文對使用 ElasticSearch 和 IK分詞外掛

Elasticsearch-IK分詞器詳解以及原始碼修改實現mysql熱更新

IK分詞器的安裝和使用 訪問ik分詞器github專案地址：https://github.com/medcl/elasticsearch-analysis-ik 1.在本地clone專案程式碼，git clone https://github.com/me

安裝Elasticsearch analysis ik中文分詞外掛

安裝： elasticsearch-analysis-ik中文分詞外掛 第一步、下載 https://github.com/medcl/elasticsearch-analysis-ik/archive/v5.6.0.zip 解壓 unzip v5.6.0.zip 或者 git clone git clone

Elasticsearch6.2.3及其head外掛安裝 中文分詞 elasticsearch-analysis-ik 拼音分詞 同義詞分詞

1.下載並解壓elasticsearch 官網 http://www.elastic.co/downloads/elasticsearch  解壓  tar -zxvf  elasticsearch-6.2.3.tar.gz 2.修改配置elasticsearch.

Elasticsearch5.5.1安裝IK中文分詞器

安裝步驟： 一、參照官方文件安裝IK分詞器 1、直接到https://github.com/medcl/elasticsearch-analysis-ik/releases下載對應版本zip包 解壓到elasticsearch的plugin目錄下 unzip elasti

淘淘商城23_solr在Linux上的操作02_安裝IK中文分詞器

一、思想 1、在solr中預設是沒有中文分析器，需要手工配置，配置一個FieldType，在FieldType中指定中文分析器。 2、Solr中的欄位必須是先定義後使用。 二、步驟 1. 配置IKAnalyzer的jar包 將上面圖片中的IK Analyze

solr5.5版本中ik中文分詞配置

這裡我使用的是solr5.5進行匹配的 分詞器 首先需要先下載IKAnalyzer 分詞器 下載地址: IK分詞器jar 將下載好的jar 放到 webapps\solr\WEB-INF\lib

elasticsearch5.11整合ik+pinyin分詞java api

1.建立index並初制定分詞 由於官方提供的XContentBuilder工具沒有直接寫json來的直接，這裡我就直接把setting用json建立 /** * 建立索引 * @param indexName 索引名 */ public static voi

python 結巴分詞(jieba)詳解

【轉自：https://www.cnblogs.com/jackchen-Net/p/8207009.html】 “結巴”中文分詞：做最好的 Python 中文分片語件 "Jieba" (Chinese for "to stutter") Chinese text segmentation:

hanlp原始碼解析之中文分詞演算法詳解

詞圖 詞圖指的是句子中所有詞可能構成的圖。如果一個詞A的下一個詞可能是B的話，那麼A和B之間具有一條路徑E(A,B)。一個詞可能有多個後續，同時也可能有多個前驅，它們構成的圖我稱作詞圖。 需要稀疏2維矩陣模型，以一個詞的起始位置作為行，終止位置作為列，可以得到一個二維矩陣。例如：“他說的確實

nginx 的安裝和gcc gcc-c++配置詳解（新手必看）

首先玩linux的話， gcc gcc-c++，fast-cgi，wget，yum 這些包請確保已經安裝好了， #下載nginx openssl，pcre,zlib  wget http://nginx.org/download/nginx-1.12.0.tar.gz&nb

自然語言處理之中文分詞器詳解

中文分詞是中文文字處理的一個基礎步驟，也是中文人機自然語言互動的基礎模組，不同於英文的是，中文句子中沒有詞的界限，因此在進行中文自然語言處理時，通常需要先進行分詞，分詞效果將直接影響詞性，句法樹等模組

自然語言處理之中文分詞器－jieba分詞器詳解及python實戰

中文分詞是中文文字處理的一個基礎步驟，也是中文人機自然語言互動的基礎模組，在進行中文自然語言處理時，通常需要先進行分詞。本文詳細介紹現在非常流行的且開源的分詞器結巴jieba分詞器，並使用python實

ElasticSearch 各模組介紹及引數配置詳解

      ElasticSearch包含模組由叢集管理Cluster、分片管理Shards、副本管理Replicas、恢復管理Recovery、資料來源管理River、持久化儲存管理Gateway、節點自動發現管理Discovery.zen、互動模組Trans

Zookeeper安裝學習（zoo.cfg配置詳解）

1.1安裝前準備 1.Java6 環境要求安裝 如果用Zookeeper在windows條件下執行，應該安裝Cygwin. 2.在hhtp://hadoop.apache.org/zookeeper/releases.html下載穩定釋放zookeeper並在合適的地方解壓

elasticsearch安裝IK分詞插件

last 打開網頁 med get plugins 文件 zip 插件 技術 一 打開網頁：https://github.com/medcl/elasticsearch-analysis-ik/releases 這個是ik相關的包，找到你想下載的版本，下載對應的zip包 二

Elasticsearch 安裝IK分詞器外掛

IK分詞安裝 #切換到elasticsearch安裝目錄bin目錄下 ./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.5.2/elasti

Elasticsearch安裝ik分詞

elasticsearch是自帶中文分詞的， 但是基本上是每個單字的分， 效果不好。 1. 安裝ik外掛 下載之後， 放到plugin目錄下， 解壓即可使用了。 2. 建立index的時候， 給出

docker環境下elasticsearch安裝ik和拼音分詞

lease 輸出 bsp 需要 arc load docke ase iyu elasticsearch拼音分詞地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases 在elasticsearc