ElasticSearch入門 第七篇：分析器

這是ElasticSearch 2.4 版本系列的第七篇：

• ElasticSearch入門 第一篇：Windows下安裝ElasticSearch
• ElasticSearch入門 第二篇：集群配置
• ElasticSearch入門 第三篇：索引
• ElasticSearch入門 第四篇：使用C#添加和更新文檔
• ElasticSearch入門 第五篇：使用C#查詢文檔
• ElasticSearch入門 第六篇：復合數據類型——數組，對象和嵌套
• ElasticSearch入門 第七篇：分析器
• ElasticSearch入門 第八篇：存儲
• ElasticSearch入門 第九篇：實現正則表達式查詢的思路

在全文搜索（Fulltext Search）中，詞（Term）是一個搜索單元，表示文本中的一個詞，標記（Token）表示在文本字段中出現的詞，由詞的文本、在原始文本中的開始和結束偏移量、以及數據類型等組成。ElasticSearch 把文檔數據寫到倒排索引（Inverted Index）的結構中，倒排索引建立詞（Term）和文檔之間的映射，索引中的數據是面向詞，而不是面向文檔的。分析器（Analyzer）的作用就是分析（Analyse），用於把傳入Lucene的文檔數據轉化為倒排索引，把文本處理成可被搜索的詞。分析器由一個分詞器（Tokenizer）和零個或多個標記過濾器（TokenFilter）組成，也可以包含零個或多個字符過濾器（Character Filter）。

在ElasticSearch引擎中，分析器的任務是分析（Analyze）文本數據，分析是分詞，規範化文本的意思，其工作流程是：

• 首先，字符過濾器對分析（analyzed）文本進行過濾和處理，例如從原始文本中移除HTML標記，根據字符映射替換文本等，
• 過濾之後的文本被分詞器接收，分詞器把文本分割成標記流，也就是一個接一個的標記，
• 然後，標記過濾器對標記流進行過濾處理，例如，移除停用詞，把詞轉換成其詞幹形式，把詞轉換成其同義詞等，
• 最終，過濾之後的標記流被存儲在倒排索引中；
• ElasticSearch引擎在收到用戶的查詢請求時，會使用分析器對查詢條件進行分析，根據分析的結構，重新構造查詢，以搜索倒排索引，完成全文搜索請求，

可見，分析器扮演的是處理索引數據和查詢條件的重要角色。在2.4版本中，ElasticSearch 預定義了7個分析器，並且支持用戶根據預定義的字符過濾器，分詞器和標記過濾器創建自定義的分析器，以滿足用戶多樣性的文本分析需求。

用戶在創建索引時配置索引的分析，通過向ElasticSearch發送請求，在請求body的settings 配置節中設置索引的分析器，例如，為索引配置默認的分析器：

"settings":{  
    "index":{
        "analysis":{
            "analyzer":{
                "default":{
                    "type":"standard"
                    ,"stopwords":"_english_"
                }
            }
        }
    }
}

一，字符過濾器(Char Filter)

字符過濾器對未經分析的文本起作用，作用於被分析的文本字段（該字段的index屬性為analyzed），字符過濾器在分詞器之前工作，用於從文檔的原始文本去除HTML標記（markup），或者把字符“&”轉換為單詞“and”。ElasticSearch 2.4版本內置3個字符過濾器，分別是：映射字符過濾器（Mapping Char Filter）、HTML標記字符過濾器（HTML Strip Char Filter）和模式替換字符過濾器（Pattern Replace Char Filter）。

1，映射字符過濾器

映射字符過濾器，類型是mapping，需要建立一個查找字符和替換字符的映射（Mapping），過濾器根據映射把文本中的字符替換成指定的字符。

2，HTML標記字符過濾器

HTML標記字符過濾器，類型是html_strip，用於從原始文本中去除HTML標記。

3，模式替換字符過濾器

模式替換字符過濾器，類型是pattern_replace，它使用正則表達式（Regular Expression）匹配字符，把匹配到的字符替換為指定的替換字符串。

pattern參數：指定Java正則表達式；

replacement參數：指定替換字符串，把正則表達式匹配的字符串替換為replacement參數指定的字符串；

二，分詞器（Tokenizer）

分詞器在字符過濾器之後工作，用於把文本分割成多個標記（Token），一個標記基本上是詞加上一些額外信息，分詞器的處理結果是標記流，它是一個接一個的標記，準備被過濾器處理。ElasticSearch 2.4版本內置很多分詞器，本節簡單介紹常用的分詞器。

1，標準分詞器（Standard Tokenizer）

標準分詞器類型是standard，用於大多數歐洲語言，使用Unicode文本分割算法對文檔進行分詞。

2，字母分詞器（Letter Tokenizer）

字符分詞器類型是letter，在非字母位置上分割文本，這就是說，根據相鄰的詞之間是否存在非字母（例如空格，逗號等）的字符，對文本進行分詞，對大多數歐洲語言非常有用。

3，空格分詞器（Whitespace Tokenizer）

空格分詞類型是whitespace，在空格處分割文本

4，小寫分詞器（Lowercase Tokenizer）

小寫分詞器類型是lowercase，在非字母位置上分割文本，並把分詞轉換為小寫形式，功能上是Letter Tokenizer和 Lower Case Token Filter的結合（Combination），但是性能更高，一次性完成兩個任務。

5，經典分詞器（Classic Tokenizer）

經典分詞器類型是classic，基於語法規則對文本進行分詞，對英語文檔分詞非常有用，在處理首字母縮寫，公司名稱，郵件地址和Internet主機名上效果非常好。

三，標記過濾器（Token Filter）

分析器包含零個或多個標記過濾器，標記過濾器在分詞器之後工作，用來處理標記流中的標記。標記過濾從分詞器中接收標記流，能夠刪除標記，轉換標記，或添加標記。ElasticSearch 2.4版本內置很多標記過濾器，本節簡單介紹常用的過濾器。

1，小寫標記過濾器（Lowercase）

類型是lowercase，用於把標記轉換為小寫形式，通過language參數指定語言，小寫標記過濾器支持的語言有：Greek, Irish, and Turkish

2，停用詞標記過濾器（Stopwords）

類型是stop，用於從標記流中移除停用詞。參數stopwords用於指定停用詞，ElasticSearch 2.4版本提供的預定義的停用詞列表：預定義的英語停用詞是_english_，使用預定義的英語停用詞列表是 “stopwords” :"_english_"

PUT /my_index
{
    "settings": {
        "analysis": {
            "filter": {
                "my_stop": {
                    "type":       "stop",
                    "stopwords": ["and", "is", "the"]
                }
            }
        }
    }
}

3，詞幹過濾器（Stemmer）

類型是stemmer，用於把詞轉換為其詞根形式存儲在倒排索引，能夠減少標記。

4，同義詞過濾器（Synonym）

類型是synonym，在分析階段，基於同義詞規則，把詞轉換為其同義詞存儲在倒排索引中

同義詞文件的格式示例：

四，系統預定義的分析器

在創建索引映射時引用分析器，如果沒有定義分析器，那麽ElasticSearch將使用默認的分析器，用戶可以通過API設置默認的分析器。

default 邏輯名稱用於配置在索引和搜索時使用的分析器，default_search 邏輯名稱用於配置在搜索時使用的分析器。

index :
  analysis :
    analyzer :
      default :
        tokenizer : keyword

1，標準分析器（Standard）

分析器類型是standard，由標準分詞器（Standard Tokenizer），標準標記過濾器（Standard Token Filter），小寫標記過濾器（Lower Case Token Filter）和停用詞標記過濾器（Stopwords Token Filter）組成。參數stopwords用於初始化停用詞列表，默認是空的。

2，簡單分析器（Simple）

分析器類型是simple，實際上是小寫標記分詞器（Lower Case Tokenizer），在非字母位置上分割文本，並把分詞轉換為小寫形式，功能上是Letter Tokenizer和 Lower Case Token Filter的結合（Combination），但是性能更高，一次性完成兩個任務。

3，空格分析器（Whitespace）

分析器類型是whitespace，實際上是空格分詞器（Whitespace Tokenizer)。

4，停用詞分析器（Stopwords）

分析器類型是stop，由小寫分詞器（Lower Case Tokenizer）和停用詞標記過濾器（Stop Token Filter）構成，配置參數stopwords 或 stopwords_path指定停用詞列表。

5，雪球分析器（Snowball）

分析器類型是snowball，由標準分詞器（Standard Tokenizer），標準過濾器（Standard Filter），小寫過濾器（Lowercase Filter），停用詞過濾器（Stop Filter）和雪球過濾器（Snowball Filter）構成。參數language用於指定語言。

6，自定義分析器

分析器類型是custom，允許用戶定制分析器。參數tokenizer 用於指定分詞器，filter用於指定過濾器，char_filter用於指定字符過濾器。

五，查詢分析

在分析(_ayalyze)端點上執行分析查詢，用於對查詢參數進行分析，並返回分析的結果

1，使用默認的分析器執行查詢分析

例如，在索引ebrite上執行分析查詢，分析字符“After School”，從返回的結果中，可以看到兩個標記（Token）：“after”和“school”，類型（type）是字符數字類型(<ALPHANUM>)，偏移量（offset）從1開始計數，位置（position）從0開始計數。

POST myindex/_analyze -d
"After School"

2，指定分析器

POST myindex/_analyze?analyzer=standard -d
"After School"

3，指定分詞器和過濾器

POST myindex/_analyze?tokenizer=standard&filters=lowercase -d
"After School"

4，在特定的字段上執行分析查詢

POST myindex/_analyze?field=doc_field&tokenizer=standard&filters=lowercase -d
"After School"

附，在創建索引時，指定默認的分析器

示例代碼，使用PUT動詞，在創建索引時指定默認的分析器，ElasticSearch引擎在索引文檔時，使用默認的分析器對index屬性為analyzed的文本字段執行分析操作，而非分析字段，將不會應用分析操作。

參考文檔：

Elasticsearch: Analyzing Text with the Analyze API

Elasticsearch: The Definitive Guide [2.x] ? Dealing with Human Language

Elasticsearch Reference [2.4] ? Analysis

ElasticSearch：分析器