2. 程式人生 > >ElesticSearch IK中文分詞使用詳解

ElesticSearch IK中文分詞使用詳解

阿新 • • 發佈：2019-02-20

一、前言

對於ES IK分詞外掛在中文檢索中非常常用，本人也使用了挺久的。但知識細節一直很碎片化，一直沒有做詳細的整理。過一段時間用的話，也是依然各種找資料，也因此會降低開發效率。所以在有空的時候好好整理下相關資料。也希望本文對使用 ElasticSearch 和 IK分詞外掛的開發者有所幫助。希望能少走點彎路。

本文包括前言、IK分詞介紹、分詞效果對比、自定義詞典使用、索引設定和欄位設定（Python 建立索引並匯入資料）、查詢測試（Python 查詢）、結論等七個部分。

二、IK分詞介紹

IK分詞器外掛的安裝、測試、自定義詞典的使用可直接參考。github上的資料：https://github.com/medcl/elasticsearch-analysis-ik

 
這裡注意三點： 
  1. 注意ElasticSearch和IK外掛版本的對應。 
  2. 在ElasticSearch的配置檔案config/elasticsearch.yml中的最後一行新增引數 index.analysis.analyzer.default.type: ik，則設定所有索引的預設分詞器為ik分詞(也可以不這麼做，通過設定mapping來使用ik分詞)。 
  3. 強調下IK分詞器的兩種分詞模式。

ik_max_word: 會將文字做最細粒度的拆分，比如會將"中華人民共和國國歌"拆分為"中華人民共和國,中華人民,中華,華人,人民共和國,人民,人,民,共和國,共和,和,國國,國歌"，會窮盡各種可能的組合；
 


ik_smart: 會做最粗粒度的拆分，比如會將"中華人民共和國國歌"拆分為"中華人民共和國,國歌"。
  • 1
  • 2
  • 3

驗證 IK 安裝成功，並測試兩種分詞模式：

http://localhost:9200/_analyze/?analyzer=ik_smart&text=中華人民共和國國歌
  • 1

這裡寫圖片描述

http://localhost:9200/_analyze/?analyzer=ik_max_word&text=中華人民共和國國歌
  • 1

這裡寫圖片描述

三、分詞效果對比

基於github上給的資料

1 建立2個索引ik_test和 ik_test_1

curl -XPUT http://localhost:9200/ik_test
curl -XPUT http://localhost:9200/ik_test_1
  • 1
  • 2

2 對 ik_test 索引設定mapping

curl -XPOST http://localhost:9200/ik_test/fulltext/_mapping -d'
{
    "fulltext": {
        "_all": {
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word",
            "term_vector": "no",
            "store": "false"
        },
        "properties": {
            "content": {
                "type": "string",
                "store": "no",
                "term_vector": "with_positions_offsets",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word",
                "include_in_all": "true",
                "boost": 8
            }
        }
    }
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

3 對兩個索引插入資料

curl -XPOST http://localhost:9200/ik_test/fulltext/1 -d'
{"content":"美國留給伊拉克的是個爛攤子嗎"}
'
curl -XPOST http://localhost:9200/ik_test/fulltext/2 -d'
{"content":"公安部：各地校車將享最高路權"}
'
curl -XPOST http://localhost:9200/ik_test/fulltext/3 -d'
{"content":"中韓漁警衝突調查：韓警平均每天扣1艘中國漁船"}
'
curl -XPOST http://localhost:9200/ik_test/fulltext/4 -d'
{"content":"中國駐洛杉磯領事館遭亞裔男子槍擊 嫌犯已自首"}
'

curl -XPOST http://localhost:9200/ik_test_1/fulltext/1 -d'
{"content":"美國留給伊拉克的是個爛攤子嗎"}
'
curl -XPOST http://localhost:9200/ik_test_1/fulltext/2 -d'
{"content":"公安部：各地校車將享最高路權"}
'
curl -XPOST http://localhost:9200/ik_test_1/fulltext/3 -d'
{"content":"中韓漁警衝突調查：韓警平均每天扣1艘中國漁船"}
'
curl -XPOST http://localhost:9200/ik_test_1/fulltext/4 -d'
{"content":"中國駐洛杉磯領事館遭亞裔男子槍擊 嫌犯已自首"}
'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

4 對兩個索引分別搜尋

curl -XPOST http://localhost:9200/ik_test/fulltext/_search?pretty  -d'{
    "query" : { "match" : { "content" : "洛杉磯領事館" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

結果如下： 
這裡寫圖片描述

curl -XPOST http://localhost:9200/ik_test_1/fulltext/_search?pretty  -d'{
    "query" : { "match" : { "content" : "洛杉磯領事館" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

結果如下： 
這裡寫圖片描述

四、自定義詞典使用

自定義詞典使用，按照github上的說明配置詞典。在 custom/mydict.dic 檔案中增加 “洛杉磯領事館” 一詞，然後重啟ES。自定義詞典使用參考：https://github.com/medcl/elasticsearch-analysis-ik 
使用如下搜尋：

curl -XPOST http://localhost:9200/ik_test/fulltext/_search?pretty  -d'{
    "query" : { "match" : { "content" : "洛杉磯領事館" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

結果如下： 
這裡寫圖片描述
從結果可見，貌似自定義詞典沒有起作用。是的、、、這裡困擾我很久的，一直以為這功能有問題。後多次測試後發現，繼續插入資料的話，對以後的資料是能正確分詞的。

在修改自定義詞典之後，插入第5條資料，content欄位和第4條資料是一樣的。

curl -XPOST http://localhost:9200/ik_test/fulltext/5 -d'
{"content":"中國駐洛杉磯領事館遭亞裔男子槍擊 嫌犯已自首"}'
  • 1
  • 2

然後繼續用上述的query 進行搜尋。 
這裡寫圖片描述
結果查到 _id =4 和 _id =5 的兩條資料，其中 _id =5 就是我們想要的結果，_id =4 按理來說確實是我們想要的結果。但是結果結果卻把”洛杉磯領事館” 切成了兩個詞語。

猜測和 ES中儲存以及match 搜尋方式有關。 
“洛杉磯領事館” 一詞在 _id = 4的文件中存為：“洛杉磯”、“領事館”、“洛”、“杉”、“磯”、“領事”、“館” 等7個詞語。 
“洛杉磯領事館” 一詞在 _id = 5的文件中存為：“洛杉磯領事館”、“洛杉磯”、“領事館”、“洛”、“杉”、“磯”、“領事”、“館” 等8個詞語。

分詞結果如下：

http://localhost:9200/_analyze/?analyzer=ik_max_word&text=洛杉磯領事館
  • 1

這裡寫圖片描述

還有這裡如果用 term 方式進行搜尋。

curl -XPOST http://localhost:9200/ik_test/fulltext/_search?pretty  -d'{
    "query" : { "term" : { "content" : "洛杉磯領事館" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

這裡寫圖片描述

結果只搜到了_id =5的文件。因此，這裡驗證了我的兩個猜測： 
1. match 和 term 的搜尋方式不同。參考：http://www.cnblogs.com/yjf512/p/4897294.html 
2. ES底層儲存有關：不然的話用term搜尋，應該把 _id =4 和_id=5全部搜尋出來，這裡之所以 _id=4沒有搜出來是因為 _id=4 的底層在ES中的儲存不包含“洛杉磯領事館” 這整體一詞。

五、索引設定和欄位設定

這裡主要是mapping得設定，可以使用IK給的 mapping 格式：

{
    "fulltext": {
        "_all": {
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word",
            "term_vector": "no",
            "store": "false"
        },
        "properties": {
            "content": {
                "type": "string",
                "store": "no",
                "term_vector": "with_positions_offsets",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word",
                "include_in_all": "true",
                "boost": 8
            }
        }
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
# -*- coding: utf-8 -*-

import elasticsearch


class ElasticSearchClient(object):
    @staticmethod
    def get_es_servers():
        es_servers = [{
            "host": "localhost",
            "port": "9200"
        }]
        es_client = elasticsearch.Elasticsearch(hosts=es_servers)
        return es_client


class LoadElasticSearch(object):
    def __init__(self):
        self.index = "hz"
        self.doc_type = "text"
        self.es_client = ElasticSearchClient.get_es_servers()
        self.set_mapping()

    def set_mapping(self):
        """
        設定mapping
        """
        chinese_field_config = {
            "type": "string",
            "store": "no",
            "term_vector": "with_positions_offsets",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word",
            "include_in_all": "true",
            "boost": 8
        }

        mapping = {
            self.doc_type: {
                "_all": {"enabled": False},

                "properties": {
                    "document_id": {
                        "type": "integer"
                    },
                    "content": chinese_field_config
                }
            }
        }

        if not self.es_client.indices.exists(index=self.index):
            # 建立Index和mapping
            self.es_client.indices.create(index=self.index, ignore=400)
            self.es_client.indices.put_mapping(index=self.index, doc_type=self.doc_type, body=mapping)

    def add_date(self, row_obj):
        """
        單條插入ES
        """
        _id = row_obj.get("_id", 1)
        row_obj.pop("_id")
        self.es_client.index(index=self.index, doc_type=self.doc_type, body=row_obj, id=_id)


if __name__ == '__main__':

    content_ls = [
        u"美國留給伊拉克的是個爛攤子嗎",
        u"公安部：各地校車將享最高路權",
        u"中韓漁警衝突調查：韓警平均每天扣1艘中國漁船",
        u"中國駐洛杉磯領事館遭亞裔男子槍擊 嫌犯已自首"
    ]

    load_es = LoadElasticSearch()
    # 插入單條資料測試
    for index, content in enumerate(content_ls):
        write_obj = {
            "_id": index,
            "document_id": index,
            "content": content
        }
        load_es.add_date(write_obj)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82

六、查詢測試

# -*- coding: utf-8 -*-

import elasticsearch


class ElasticSearchClient(object):
    @staticmethod
    def get_es_servers():
        es_servers = [{
            "host": "localhost",
            "port": "9200"
        }]
        es_client = elasticsearch.Elasticsearch(hosts=es_servers)
        return es_client


class SearchData(object):
    index = 'hz'
    doc_type = 'text'

    @classmethod
    def search(cls, field, query, search_offset, search_size):
        # 設定查詢條件
        es_search_options = cls.set_search_optional(field, query)
        # 發起檢索。
        es_result = cls.get_search_result(es_search_options, search_offset, search_size)
        # 對每個結果, 進行封裝。得到最終結果
        final_result = cls.get_highlight_result_list(es_result, field)
        return final_result

    @classmethod
    def get_highlight_result_list(cls, es_result, field):
        result_items = es_result['hits']['hits']
        final_result = []
        for item in result_items:
            item['_source'][field] = item['highlight'][field][0]
            final_result.append(item['_source'])
        return final_result

    @classmethod
    def get_search_result(cls, es_search_options, search_offset, search_size):
        es_result = ElasticSearchClient.get_es_servers().search(
            index=cls.index,
            doc_type=cls.doc_type,
            body=es_search_options,
            from_=search_offset,
            size=search_size
        )
        return es_result

    @classmethod
    def set_search_optional(cls, field, query):
        es_search_options = {
            "query": {
                "match": {
                    field: {
                        "query": query,
                        "slop": 10
                    }
                }
            },
            "highlight": {
                "fields": {
                    "*": {
                        "require_field_match": True,
                    }
                }
            }
        }
        return es_search_options


if __name__ == '__main__':
    final_results = SearchData().search("content", "中國", 0, 30)
    for obj in final_results:
        for k, v in obj.items():
            print k, ":", v
        print "======="
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78

輸出結果：

七、結論

文中也實現了，搜尋相關的功能。不過更加詳細的內容，此文先不介紹了，下篇文章會對ElasticSearch 的搜尋進行講解和實現。

感謝閱讀！

相關推薦

ElesticSearch IK中文分詞使用詳解

一、前言對於ES IK分詞外掛在中文檢索中非常常用，本人也使用了挺久的。但知識細節一直很碎片化，一直沒有做詳細的整理。過一段時間用的話，也是依然各種找資料，也因此會降低開發效率。所以在有空的時候好好整理下相關資料。也希望本文對使用 ElasticSearch 和 IK分詞外掛

es5.4安裝head、ik中文分詞插件

es安裝maven打包工具wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz tar -xf apache-maven-3.3.9-bin.tar.gz mv apach

Solr6.6.0添加IK中文分詞器

其中 開發 其余 下載鏈接 classes 項目 實現 .com 擴展 IK分詞器就是一款中國人開發的，擴展性很好的中文分詞器，它支持擴展詞庫，可以自己定制分詞項，這對中文分詞無疑是友好的。 jar包下載鏈接：http://pan.baidu.com/s/1o85I15o

elastic ik中文分詞測試

RoCE img ken tar png art mark fse 分享 1、發送_analyze請求2、返回結果：{"tokens": [{"token": "珠江口","start_offset&qu

Solr6.2搭建和配置ik中文分詞器

首先需要的準備好ik分詞器,因為Solr6.0版本比較高,所以ik分詞器的版本最好高一點,我是用ikanalyzer-solr5來搭建的. 第一步 解壓ikanalyzer-solr5. 第二步 複製ik-analyzer-solr5-5.x.jar並將其放在solr-6.2.1\se

ES倒排索引與分詞詳解

倒排索引 正排索引：文件id到單詞的關聯關係 倒排索引：單詞到文件id的關聯關係 示例： 對以下三個文件去除停用詞後構造倒排索引   image 倒排索引-查詢過程 查詢包含“搜尋引擎”的文件 通過倒排索引獲得“搜尋引擎”對應的文

IK中文分詞器安裝

分詞器路徑 https://github.com/medcl/elasticsearch-analysis-ik/releases 下載與elasticsearch一樣的版本 wget https://github.com/medcl/elasticsearch-analysis-ik/

solr與ik中文分詞的配置，以及新增Core（Add Core）的方式

在下用的版本是solr7.2.1與ikanalyzer-solr6.5： 說明：在solr版本5之後就可以不用依賴tomcat進行啟動，可以自行啟動，啟動方式下面會進行講解。 需要注意的是：對於solr6以下的版本可用jdk7，從solr6開始只能使用jdk8了。 so

elasticsearch6.x ik中文分詞整合

Elasticsearch是一個基於Apache Lucene(TM)的開源、實時分散式搜尋和分析引擎。它用於全文搜尋、結構化搜尋、分析以及將這三者混合使用。IK Analysis外掛將Lucene IK分析器整合到elasticsearch中，支援自定義詞典。 1. 選擇

學習筆記:從0開始學習大資料-29. solr增加ik中文分詞器並匯入doc，pdf文件全文檢索

環境 centos7,solr7.5.0 1. 新建core 從  solr-7.5.0/example/files/conf 作為配置檔案模板，建立core，名為mycore 2.下載分詞器 從https://search.maven.org/search?q=g:com

NLP ---分詞詳解（常見的五種分詞技術二）

上一篇我們講了N一最短路徑方法、基於詞的n元文法模型，本節將主要介紹由字構詞方法、基於詞感知機演算法的漢語分詞方法、基於字的生成模型和區分式模型相結合的漢語分詞方法，下面我們就開始講解由字構詞的方法： 由字構詞方法 由字構詞方法的由來 其實這個方法我們在前面講解HMM和CRF時就一直

NLP ---分詞詳解（常見的五種分詞技術一）

上一節我們簡單的介紹了分詞的起源，本節將介紹五種分詞效果比較好的分詞方法，他們都是基於統計的，分別為：N最短路徑法、基於詞的n元語法模型的分詞方法、由字夠詞的漢語分詞方法、基於詞感知機演算法的漢語分詞方法、基於字的生成模型和區分式模型相結合的漢語分詞方法。下面我們就一一的介紹他們： N最短路

NLP --- 分詞詳解（分詞的歷史）

前面的內容我們以演算法為主，主要講解了HMM和CRF演算法，為了解決HMM的問題，使用了EM演算法，但是整個HMM演算法是產生式模型的，計算量大和複雜，因此為了解決這個問題，我們引入了CRF演算法，該演算法是借鑑了最大熵模型的演算法，然後在HMM的基礎上加入了概率圖模型和團的概念，使的最後模型稱

solr 6.2.0系列教程（二）IK中文分詞器配置及新增擴充套件詞、停止詞、同義詞

前言 2、solr的不同版本，對應不同版本的IK分詞器。由於IK 2012年停止更新了。所以以前的版本不適合新版的solr。 有幸在網上扒到了IK原始碼自己稍微做了調整，用來相容solr6.2.0版本。IK原始碼下載地址 步驟 1、解壓下載的src.rar壓縮包，這是我建

Elasticsearch5.5.1安裝IK中文分詞器

安裝步驟： 一、參照官方文件安裝IK分詞器 1、直接到https://github.com/medcl/elasticsearch-analysis-ik/releases下載對應版本zip包 解壓到elasticsearch的plugin目錄下 unzip elasti

淘淘商城23_solr在Linux上的操作02_安裝IK中文分詞器

一、思想 1、在solr中預設是沒有中文分析器，需要手工配置，配置一個FieldType，在FieldType中指定中文分析器。 2、Solr中的欄位必須是先定義後使用。 二、步驟 1. 配置IKAnalyzer的jar包 將上面圖片中的IK Analyze

solr5.5版本中ik中文分詞配置

這裡我使用的是solr5.5進行匹配的 分詞器 首先需要先下載IKAnalyzer 分詞器 下載地址: IK分詞器jar 將下載好的jar 放到 webapps\solr\WEB-INF\lib

solr5.3.1 整合IK中文分詞器

參考文章：http://www.cnblogs.com/sword-successful/p/5604541.html 轉載文章：http://www.cnblogs.com/pazsolr/p/5796813.html 1.下載IK分詞器包。 連結：http://

IK中文分詞擴充套件自定義詞典！！！

  2.2.1.在自定義分詞內容的載入中，首先呼叫Configuration類中的一個方法，用來獲得IKAnalyzer.cfg.xml(自定義詞典檔案配置路徑)中配置的自定義詞典檔案的配置路徑。List<String> extDictFiles  = Configuration.getExtD

ElasticSearch系列五：掌握ES使用IK中文分詞器

一、內建分詞器的介紹例：Set the shape to semi-transparent by calling set_trans(5)standard analyzer（預設）：set, the, shape, to, semi, transparent, by, cal