2. 程式人生 > >Elasticsearch實踐（四）：IK分詞

Elasticsearch實踐（四）：IK分詞

阿新 • • 發佈：2018-12-01
完成 詞語 char 1.2 prop tokenize 字母 發生 odi

環境：Elasticsearch 6.2.4 + Kibana 6.2.4 + ik 6.2.4

Elasticsearch默認也能對中文進行分詞。

我們先來看看自帶的中文分詞效果：

curl -XGET "http://localhost:9200/_analyze" -H 'Content-Type: application/json' -d '{"analyzer": "default","text": "今天天氣真好"}'
GET /_analyze
{
  "analyzer": "default",
  "text": "今天天氣真好"
}

結果：

{
  "tokens": [
    {
      "token": "今",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<IDEOGRAPHIC>",
      "position": 0
    },
    {
      "token": "天",
      "start_offset": 1,
      "end_offset": 2,
      "type": "<IDEOGRAPHIC>",
      "position": 1
    },
    {
      "token": "天",
      "start_offset": 2,
      "end_offset": 3,
      "type": "<IDEOGRAPHIC>",
      "position": 2
    },
    {
      "token": "氣",
      "start_offset": 3,
      "end_offset": 4,
      "type": "<IDEOGRAPHIC>",
      "position": 3
    },
    {
      "token": "真",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<IDEOGRAPHIC>",
      "position": 4
    },
    {
      "token": "好",
      "start_offset": 5,
      "end_offset": 6,
      "type": "<IDEOGRAPHIC>",
      "position": 5
    }
  ]
}

我們發現，是按照每個字進行分詞的。這種在實際應用裏肯定達不到想要的效果。當然，如果是日誌搜索，使用自帶的就足夠了。

analyzer=default其實調用的是standard分詞器。

接下來，我們安裝IK分詞插件進行分詞。

安裝IK

IK項目地址：https://github.com/medcl/elasticsearch-analysis-ik

首先需要說明的是，IK插件必須和 ElasticSearch 的版本一直，否則不兼容。

安裝方法1：
從 https://github.com/medcl/elasticsearch-analysis-ik/releases 下載壓縮包，然後在ES的plugins

目錄創建analysis-ik子目錄，把壓縮包的內容復制到這個目錄裏面即可。最終plugins/analysis-ik/目錄裏面的內容：

plugins/analysis-ik/
    commons-codec-1.9.jar
    commons-logging-1.2.jar
    elasticsearch-analysis-ik-6.2.4.jar
    httpclient-4.5.2.jar
    httpcore-4.4.4.jar
    plugin-descriptor.properties

然後重啟 ElasticSearch。

安裝方法2：

./usr/local/elk/elasticsearch-6.2.4/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.2.4/elasticsearch-analysis-ik-6.2.4.zip

如果已下載壓縮包，直接使用：

./usr/local/elk/elasticsearch-6.2.4/bin/elasticsearch-plugin install file:///tmp/elasticsearch-analysis-ik-6.2.4.zip

然後重啟 ElasticSearch。

IK分詞

IK支持兩種分詞模式：

  • ik_max_word: 會將文本做最細粒度的拆分，會窮盡各種可能的組合
  • ik_smart: 會做最粗粒度的拆分

接下來，我們測算IK分詞效果和自帶的有什麽不同：

curl -XGET "http://localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{"analyzer": "ik_smart","text": "今天天氣真好"}'

結果：

{
  "tokens": [
    {
      "token": "今天天氣",
      "start_offset": 0,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "真好",
      "start_offset": 4,
      "end_offset": 6,
      "type": "CN_WORD",
      "position": 1
    }
  ]
}

再試一下ik_max_word的效果：

{
  "tokens": [
    {
      "token": "今天天氣",
      "start_offset": 0,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 0
    },
    {
      "token": "今天",
      "start_offset": 0,
      "end_offset": 2,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "天天",
      "start_offset": 1,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "天氣",
      "start_offset": 2,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 3
    },
    {
      "token": "真好",
      "start_offset": 4,
      "end_offset": 6,
      "type": "CN_WORD",
      "position": 4
    }
  ]
}

設置mapping默認分詞器

示例：

{
    "properties": {
        "content": {
            "type": "text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word"
        }
    }
}

註：這裏設置 search_analyzer 與 analyzer 相同是為了確保搜索時和索引時使用相同的分詞器，以確保查詢中的術語與反向索引中的術語具有相同的格式。如果不設置 search_analyzer，則 search_analyzer 與 analyzer 相同。詳細請查閱：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-analyzer.html

自定義分詞詞典

我們也可以定義自己的詞典供IK使用。比如：

curl -XGET "http://localhost:9200/_analyze" -H 'Content-Type: application/json' -d'{"analyzer": "ik_smart","text": "去朝陽公園"}'

結果：

{
  "tokens": [
    {
      "token": "去",
      "start_offset": 0,
      "end_offset": 1,
      "type": "CN_CHAR",
      "position": 0
    },
    {
      "token": "朝陽",
      "start_offset": 1,
      "end_offset": 3,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "公園",
      "start_offset": 3,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 2
    }
  ]
}

我們希望朝陽公園作為一個整體，這時候可以把該詞加入到自己的詞典裏。

新建自己的詞典只需要簡單幾步就可以完成：
1、在elasticsearch-6.2.4/config/analysis-ik/目錄增加一個my.dic:

$ touch my.dic
$ echo 朝陽公園 > my.dic

$ cat my.dic
朝陽公園

.dic為詞典文件，其實就是簡單的文本文件，詞語與詞語直接需要換行。註意是UTF8編碼。我們看一下自帶的分詞文件：

$ head -n 5 main.dic
一一列舉
一一對應
一一道來
一丁
一丁不識

2、然後修改elasticsearch-6.2.4/config/analysis-ik/IKAnalyzer.cfg.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴展配置</comment>
    <!--用戶可以在這裏配置自己的擴展字典 -->
    <entry key="ext_dict">my.dic</entry>
     <!--用戶可以在這裏配置自己的擴展停止詞字典-->
    <entry key="ext_stopwords"></entry>
    <!--用戶可以在這裏配置遠程擴展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用戶可以在這裏配置遠程擴展停止詞字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

增加了my.dic，然後重啟ES。我們再看一下效果：

curl http://localhost:9200/_analyze/?analyzer=ik_smart&text=去朝陽公園

結果：

{
  "tokens": [
    {
      "token": "去",
      "start_offset": 0,
      "end_offset": 1,
      "type": "CN_CHAR",
      "position": 0
    },
    {
      "token": "朝陽公園",
      "start_offset": 1,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 1
    }
  ]
}

說明自定義詞典生效了。如果有多個詞典，使用英文分號隔開：

<entry key="ext_dict">my.dic;custom/single_word_low_freq.dic</entry>

另外，我們看到配置裏還有個擴展停止詞字典，這個是用來輔助斷句的。我們可以看一下自帶的一個擴展停止詞字典：

$ head -n 5 extra_stopword.dic
也
了
仍
從
以

也就是IK分詞器遇到這些詞就認為前面的詞語不會與這些詞構成詞語。

IK分詞也支持遠程詞典，遠程詞典的好處是支持熱更新。詞典格式和本地的一致，都是一行一個分詞（換行符用 \n），還要求填寫的URL滿足：

該 http 請求需要返回兩個頭部(header)，一個是 Last-Modified，一個是 ETag，這兩者都是字符串類型，只要有一個發生變化，該插件就會去抓取新的分詞進而更新詞庫。

詳見：https://github.com/medcl/elasticsearch-analysis-ik 熱更新 IK 分詞使用方法 部分。

註意：上面的示例裏我們改的是`elasticsearch-6.2.4/config/analysis-ik/目錄下內容，是因為IK是通過方法2裏elasticsearch-plugin安裝的。如果你是通過解壓方式安裝的，那麽IK配置會在plugins目錄，即：elasticsearch-6.2.4/plugins/analysis-ik/config。也就是說插件的配置既可以放在插件所在目錄，也可以放在Elasticsearch的config目錄裏面。

ES內置的Analyzer分析器

es自帶了許多內置的Analyzer分析器，無需配置就可以直接在index中使用：

  • 標準分詞器（standard）：以單詞邊界切分字符串為terms，根據Unicode文本分割算法。它會移除大部分的標點符號，小寫分詞後的term，支持停用詞。
  • 簡單分詞器（simple）：該分詞器會在遇到非字母時切分字符串，小寫所有的term。
  • 空格分詞器（whitespace）：遇到空格字符時切分字符串，
  • 停用詞分詞器（stop）：類似簡單分詞器，同時支持移除停用詞。
  • 關鍵詞分詞器（keyword）：無操作分詞器，會輸出與輸入相同的內容作為一個single term。
  • 模式分詞器（pattern）：使用正則表達式講字符串且分為terms。支持小寫字母和停用詞。
  • 語言分詞器（language）：支持許多基於特定語言的分詞器，比如english或french。
  • 簽名分詞器（fingerprint）：是一個專家分詞器，會產生一個簽名，可以用於去重檢測。
  • 自定義分詞器：如果內置分詞器無法滿足你的需求，可以自定義custom分詞器，根據不同的character filters，tokenizer，token filters的組合 。

詳見文檔：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-analyzers.html

參考

1、medcl/elasticsearch-analysis-ik: The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch, support customized dictionary.
https://github.com/medcl/elasticsearch-analysis-ik
2、ElesticSearch IK中文分詞使用詳解 - xsdxs的博客 - CSDN博客
https://blog.csdn.net/xsdxs/article/details/72853288

Elasticsearch實踐（四）：IK分詞

相關推薦

Elasticsearch實踐（四）：IK分詞

完成 詞語 char 1.2 prop tokenize 字母 發生 odi 環境：Elasticsearch 6.2.4 + Kibana 6.2.4 + ik 6.2.4 Elasticsearch默認也能對中文進行分詞。 我們先來看看自帶的中文分詞效果： curl

Elasticsearch外掛（一）：ik分詞

在Elasticsearch的對於中文的檢索，ik效果最好也是使用最火的一款中文分詞外掛。支援自定義詞庫和動態修改詞庫。對於一般情況的的中文檢索，ik分詞是一個很好的選擇。 安裝 版本號要跟Elasticsearch版本對應。 手動安裝： 1.在plugins

Elasticsearch 之（25）重寫IK分詞器原始碼來基於mysql熱更新詞庫

熱更新在上一節《IK分詞器配置檔案講解以及自定義詞庫》自定義詞庫，每次都是在es的擴充套件詞典中，手動新增新詞語，很坑（1）每次新增完，都要重啟es才能生效，非常麻煩（2）es是分散式的，可能有數百個節點，你不能每次都一個一個節點上面去修改es不停機，直接我們在外部某個地方新

Elasticsearch教程（二），IK分詞器安裝

怕麻煩就看上面的（極速版），是我已經打包好的 IK分詞器  需要的東西。首先說說分詞器，分詞，英語分詞很好分，就是按固定的英文的空格，或者“-”。中文分詞就稍微有點複雜了，而 Elasticsearch  預設是帶分詞器了，我們來測試一下。http://123.88.88.8

搜索引擎ElasticSearch系列（四）： ElasticSearch2.4.4 sql插件安裝

china code als 插件 技術分享 -s fun nlp 4.0 一：ElasticSearch sql插件簡介 　　With this plugin you can query elasticsearch using familiar SQL syntax.

Angular開發實踐（四）：組件之間的交互

lec previous call 私有 判斷 處理方法 數組 依然 處理 在Angular應用開發中，組件可以說是隨處可見的。本篇文章將介紹幾種常見的組件通訊場景，也就是讓兩個或多個組件之間交互的方法。 根據數據的傳遞方向，分為父組件向子組件傳遞、子組件向父組件傳遞及通過

小程序實踐（四）：動態控制組件的顯示/隱藏

-s -- hid 控制 alt 實踐 als nbsp 小程序 組件有個屬性：hidden=‘‘ ,值為true/false ，當false的時候說明不隱藏，當true的時候說明隱藏，註意該隱藏是不保留組件位置的。 實現即 .js 配合.wxml 文件 一、在.j

Elasticsearch實踐（二）：搜尋

本文以 Elasticsearch 6.2.4為例。 經過前面的基礎入門，我們對ES的基本操作也會了。現在來學習ES最強大的部分：全文檢索。 準備工作 批量匯入資料 先需要準備點資料，然後匯入： wget https://raw.githubusercontent.com/elastic/

ES學習（四）拼音外掛分詞elasticsearch-analysis-pinyin

摘要：elasticsearch-analysis-pinyin是elasticsearch的一個分詞外掛，用於漢字與拼音之間的轉換。本文主要介紹該外掛的安裝和具體的使用方法。 一.安裝 1.去官網下

Elasticsearch 系列指南（三）——整合ik分詞器

{ "tokens": [ { "token": "聯", "start_offset": 0, "end_offset": 1, "type": "<IDEOGRAPHIC>

微信小程式（四）：Tab分頁

本文介紹在微信小程式中實現多Tab分頁的功能。內容多出自官方文件，增加了一些作者實踐過程中遇到的問題與注意點。 本文基於微信小程式公測版，IDE：微信開發者工具 0.10.102800 1.1 元件 tabBar 微信小程式提供了一個元件

ElasticSearch（四）查詢、分詞器

正向索引   　　正排表是以文件的ID為關鍵字，表中記錄文件中每個字的位置資訊，查詢時掃描表中每個文件中字的資訊直到找出所有包含查詢關鍵字的文件。 　　這種組織方法在建立索引的時候結構比較簡單，建立比較方便且易於維護;因為索引是基於文件建立的，若是有新的文件加入，直接為該文件建立一個新的索引塊

Elasticsearch實踐（三）：Mapping

版本：Elasticsearch 6.2.4。 Mapping類似於資料庫中的表結構定義，主要作用如下： 定義Index下欄位名（Field Name） 定義欄位的型別，比如數值型，字串型、布林型等 定義倒排索引的相關配置，比如是否索引、記錄postion等 Mapping完整的內容可以分為四部分內容

NLP詞法分析（一）：中文分詞

##1.中文分詞介紹 中文分詞相較於英文分詞要難許多，因為英文字身就是由單詞與空格組成的，而中文則是由獨立的字組成的，但同時語義卻是有詞來表達的。因此對於中文的分析與研究，首先應尋找合適的方法進行分詞。現有的中文分詞技術主要分為規則分詞，統計分詞與規則加統計相結

Python自然語言處理實戰（3）：中文分詞技術

3.1、中文分詞簡介       在英文中，單詞本身就是“詞”的表達，一篇英文文章就是“單詞”加分隔符（空格）來表示的，而在漢語中，詞以字為基本單位的，但是一篇文章的語義表達卻仍然是以詞來劃分的。       自中文自動分詞被提出以來，歷經將近30年的探索，提出了很多方法，可

微服務實戰（四）：服務發現的可行方案以及實踐案例

mesos aws ec2 動態配置 load 顯示 一個 cer c118 分布 微服務實戰（四）：服務發現的可行方案以及實踐案例 這是關於使用微服務架構創建應用系列的第四篇文章。第一篇介紹了微服務架構的模式，討論了使用微服務架構的優缺點。第二和第三篇描

搜尋引擎（四）：如何使用ElasticSearch官方文件

ElasticSearch的官方文件還是挺詳細的，中英文都有，基本的使用、原理和注意地方都提及到了。 有人說，入門學習elasticsearch，先把官方文件讀一遍，對於把握elasticsearch的整體結構和機制是非常有幫助的。 elasticsearch文件地址：https://w

Elasticsearch 通關教程（四）： 分散式工作原理

前言 通過前面章節的瞭解，我們已經知道 Elasticsearch 是一個實時的分散式搜尋分析引擎，它能讓你以一個之前從未有過的速度和規模，去探索你的資料。它被用作全文檢索、結構化搜尋、分析以及這三個功能的組合。 Elasticsearch 可以橫向擴充套件至數百（甚至數千）的伺服器節點，同時可以處理PB級

ElasticSearch學習總結（四）：分散式特性

本文主要對Elasticsearch的分散式相關特性進行總結 1. 分片與副本 1.1 分片&副本 索引分片機制用來儲存超過單個節點儲存容量的資料，分片副本用來應對不斷攀升的吞吐量以及確保資料的安全性。 當一個節點的主分片丟失，ElasticSearch可以把任意一個

Spring Boot 實踐折騰記（四）：配置即使用，常用配置

生活不可能像你想象的那麼好，但也不會像你想象的那麼糟。我覺得人的脆弱和堅強都超乎自己的想象。有時，可能脆弱得一句話就淚流滿面；有時，也發現自己咬著牙走了很長的路。——源自 莫泊桑 開始前… 本章內容主要介紹的是Spring Boot常用的配置，相對前