搜尋引擎（Elasticsearch搜尋詳解）

阿新 • • 發佈：2019-03-27

學完本課題，你應達成如下目標：

掌握ES搜尋API的規則、用法。
掌握各種查詢用法

搜尋API

搜尋API 端點地址

GET /twitter/_search?q=user:kimchy

GET /twitter/tweet,user/_search?q=user:kimchy

GET /kimchy,elasticsearch/_search?q=tag:wow

GET /_all/_search?q=tag:wow

GET /_search?q=tag:wow

搜尋的端點地址可以是多索引多mapping type的。搜尋的引數可作為URI請求引數給出，也可用 request body 給出。

URI Search

URI 搜尋方式通過URI引數來指定查詢相關引數。讓我們可以快速做一個查詢。

GET /twitter/_search?q=user:kimchy

可用的引數請參考： https://www.elastic.co/guide/en/elasticsearch/reference/current/search-uri-request.html

URI中允許的引數是：
q 
查詢字串（對映到query_string查詢，請參閱 查詢字串查詢以獲取更多詳細資訊）。
df 
在查詢中未定義欄位字首時使用的預設欄位。
analyzer 
分析查詢字串時要使用的分析器名稱。
analyze_wildcard 
是否應該分析萬用字元和字首查詢。預設為false。
batched_reduce_size 
一次在協調節點上應該減少的分片結果的數量。如果請求中的潛在分片數量可能很大，則應將此值用作保護機制以減少每個搜尋請求的記憶體開銷。
default_operator 
要使用的預設運算子可以是AND或 OR。預設為OR。
lenient 
如果設定為true，則會導致基於格式的失敗（如向數字欄位提供文字）被忽略。預設為false。
explain 
對於每個命中，包含如何計算命中得分的解釋。
_source 
設定為false禁用檢索_source欄位。您也可以使用_source_include＆獲取部分文件_source_exclude（請參閱請求主體 文件以獲取更多詳細資訊）
stored_fields 
選擇性儲存的檔案欄位為每個命中返回，逗號分隔。沒有指定任何值將導致沒有欄位返回。
sort 
排序以執行。可以是fieldName，或者是 fieldName:asc的形式fieldName:desc。fieldName可以是文件中的實際欄位，也可以是_score根據分數表示排序的特殊名稱。可以有幾個sort引數（順序很重要）。
track_scores 
排序時，設定為true仍然可以跟蹤分數並將它們作為每次擊中的一部分返回。
timeout 
搜尋超時，限制在指定時間值內執行的搜尋請求，並在到期時積累至該點的保留時間。預設沒有超時。
terminate_after 
為每個分片收集的文件的最大數量，一旦達到該數量，查詢執行將提前終止。如果設定，則響應將有一個布林型欄位terminated_early來指示查詢執行是否實際已經terminate_early。預設為no terminate_after。
from 
從命中的索引開始返回。預設為0。
size 
要返回的點選次數。預設為10。
search_type 
要執行的搜尋操作的型別。可以是 dfs_query_then_fetch或query_then_fetch。預設為query_then_fetch。有關可以執行的不同搜尋型別的更多詳細資訊，請參閱 搜尋型別。

查詢結果說明

{
    "took": 1,               耗時（毫秒）
    "timed_out": false,      是否超時
    "_shards":{              查詢了多少個分片
        "total" : 1,
        "successful" : 1,
        "skipped" : 0,
        "failed" : 0
    },
    "hits":{                 命中結果
        "total" : 1,         總命中數
        "max_score": 1.3862944,  最高得分
        "hits" : [                本頁結果文件陣列
            {
                "_index" : "twitter",  文件
                "_type" : "_doc",
                "_id" : "0",
                "_score": 1.3862944,
                "_source" : {
                    "user" : "kimchy",
                    "message": "trying out Elasticsearch",
                    "date" : "2009-11-15T14:12:12",
                    "likes" : 0
                }            }        ]    }}

特殊的查詢引數用法

如果我們只想知道有多少文件匹配某個查詢，可以這樣用引數：

GET /bank/_search?q=city:b*&size=0

如果我們只想知道有沒有文件匹配某個查詢，可以這樣用引數：

GET /bank/_search?q=city:b*&size=0&terminate_after=1

比較兩個查詢的結果，有什麼區別。

Request body Search

Request body 搜尋方式以JSON格式在請求體中定義查詢 query。請求方式可以是 GET 、POST 。

GET /twitter/_search
{
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

可用的引數:

timeout：請求超時時長，限定在指定時長內響應（即使沒查完）；
from： 分頁的起始行，預設0；
size：分頁大小；
request_cache：是否快取請求結果，預設true。
terminate_after：限定每個分片取幾個文件。如果設定，則響應將有一個布林型欄位terminated_early來指示查詢執行是否實際已經terminate_early。預設為no terminate_after；
search_type：查詢的執行方式，可選值dfs_query_then_fetch or query_then_fetch ，預設： query_then_fetch ；
batched_reduce_size：一次在協調節點上應該減少的分片結果的數量。如果請求中的潛在分片數量可能很大，則應將此值用作保護機制以減少每個搜尋請求的記憶體開銷。

query 元素定義查詢

query 元素用Query DSL 來定義查詢。

GET /_search
{
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

指定返回哪些內容

source filter 對_source欄位進行選擇

GET /_search
{
    "_source": false,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "_source": [ "obj1.*", "obj2.*" ],
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "_source": "obj.*",
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

GET /_search
{
    "_source": {
        "includes": [ "obj1.*", "obj2.*" ],
        "excludes": [ "*.description" ]
    },
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

stored_fields 來指定返回哪些stored欄位

GET /_search
{
    "stored_fields" : ["user", "postDate"],
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

docValue Field 返回儲存了docValue的欄位值

GET /_search
{
    "query" : {
        "match_all": {}
    },
    "docvalue_fields" : ["test1", "test2"]
}

version 來指定返回文件的版本欄位

GET /_search
{
    "version": true,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

explain 返回文件的評分解釋

GET /_search
{
    "explain": true,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

Script Field 用指令碼來對命中的每個文件的欄位進行運算後返回

GET /bank/_search
{
  "query": {
    "match_all": {}
  },
  "script_fields": {
    "test1": {
      "script": {
        "lang": "painless",
        "source": "doc['balance'].value * 2"   doc指文件
      }
    },
    "test2": {
      "script": {
        "lang": "painless",
        "source": "doc['age'].value * params.factor",
        "params": {
          "factor": 2
        }
      }
    } }}

GET /bank/_search
{
  "query": {
    "match_all": {}
  },
  "script_fields": {
    "ffx": {
      "script": {
        "lang": "painless",
        "source": "doc['age'].value * doc['balance'].value"
      }
    },
    "balance*2": {
      "script": {
        "lang": "painless",
        "source": "params['_source'].balance*2"   params  _source 取 _source欄位值
      }                                           官方推薦使用doc，理由是用doc效率比取_source 高。
    }
  }
}

過濾

min_score 限制最低評分得分。

GET /_search
{
    "min_score": 0.5,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

post_filter 後置過濾：在查詢命中文件、完成聚合後，再對命中的文件進行過濾。

如：要在一次查詢中查詢品牌為gucci且顏色為紅色的shirts，同時還要得到gucci品牌各顏色的shirts的分面統計。

PUT /shirts
{
    "mappings": {
        "_doc": {
            "properties": {
                "brand": { "type": "keyword"},
                "color": { "type": "keyword"},
                "model": { "type": "keyword"}
            }
        }
    }
}

PUT /shirts/_doc/1?refresh
{
    "brand": "gucci",
    "color": "red",
    "model": "slim"
}
PUT /shirts/_doc/2?refresh
{
    "brand": "gucci",
    "color": "green",
    "model": "seec"
}

GET /shirts/_search
{
  "query": {
    "bool": {
      "filter": {
        "term": { "brand": "gucci" } 
      }
    }
  },
  "aggs": {
    "colors": {
      "terms": { "field": "color" } 
    }
  },
  "post_filter": { 
    "term": { "color": "red" }
  }
}

sort 排序

可以指定按一個或多個欄位排序。也可通過_score指定按評分值排序，_doc 按索引順序排序。預設是按相關性評分從高到低排序。

GET /bank/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [           order 值：asc、desc。如果不給定，預設是asc，_score預設是desc
    {
      "age": {
        "order": "desc"
      }    },
    {
      "balance": {
        "order": "asc"
      }    },
    "_score"
  ]
}

 "hits": {
    "total": 1000,
    "max_score": null,
    "hits": [
      {
        "_index": "bank",
        "_type": "_doc",
        "_id": "549",
        "_score": 1,
        "_source": {
          "account_number": 549,
          "balance": 1932, "age": 40, "state": "OR"
        },
        "sort": [              結果中每個文件會有排序欄位值給出
          40,
          1932,
          1
        ]    }

多值欄位排序

對於值是陣列或多值的欄位，也可進行排序，通過mode引數指定按多值的：

PUT /my_index/_doc/1?refresh
{
   "product": "chocolate",
   "price": [20, 4]
}

POST /_search
{
   "query" : {
      "term" : { "product" : "chocolate" }
   },
   "sort" : [
      {"price" : {"order" : "asc", "mode" : "avg"}}
   ]
}

Missing values 缺失該欄位的文件

GET /_search
{
    "sort" : [
        { "price" : {"missing" : "_last"} }
    ],
    "query" : {
        "term" : { "product" : "chocolate" }
    }
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-sort.html#geo-sorting

地理空間距離排序

GET /_search
{
    "sort" : [
        {
            "_geo_distance" : {
                "pin.location" : [-70, 40],
                "order" : "asc",
                "unit" : "km",
                "mode" : "min",
                "distance_type" : "arc"
            }
        }
    ],
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

_geo_distance 距離排序關鍵字
pin.location是 geo_point 型別的欄位
distance_type：距離計算方式 arc球面、plane 平面。
unit: 距離單位 km 、m 預設m

Script Based Sorting 基於指令碼計算的排序

GET /_search
{
    "query" : {
        "term" : { "user" : "kimchy" }
    },
    "sort" : {
        "_script" : {
            "type" : "number",
            "script" : {
                "lang": "painless",
                "source": "doc['field_name'].value * params.factor",
                "params" : {
                    "factor" : 1.1
                }
            },
            "order" : "asc"
        }
    }
}

摺疊

用 collapse指定根據某個欄位對命中結果進行摺疊

GET /bank/_search
{
    "query": {
        "match_all": {}
    },
    "collapse" : {
        "field" : "age" 
    },
    "sort": ["balance"] 
}

GET /bank/_search
{
    "query": {
        "match_all": {}
    },
    "collapse" : {
        "field" : "age" ,
        "inner_hits": {                 指定inner_hits來解釋摺疊
            "name": "details",          自命名
            "size": 5,                  指定每組取幾個文件
            "sort": [{ "balance": "asc" }]   組內排序
        },
        "max_concurrent_group_searches": 4   指定組查詢的併發數
    },
    "sort": ["balance"] 
}

在inner_hits 中返回多個角度的組內topN

GET /twitter/_search
{
    "query": {
        "match": {
            "message": "elasticsearch"
        }
    },
    "collapse" : {
        "field" : "user", 
        "inner_hits": [
            {
                "name": "most_liked",  
                "size": 3,
                "sort": ["likes"]
            },
            {
                "name": "most_recent", 
                "size": 3,
                "sort": [{ "date": "asc" }]
            }
        ]
    },
    "sort": ["likes"]
}

分頁

from and size

GET /_search
{
    "from" : 0, "size" : 10,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

注意：搜尋請求耗用的堆記憶體和時間與 from + size 大小成正比。分頁越深耗用越大，為了不因分頁導致OOM或嚴重影響效能，ES中規定from + size 不能大於索引setting引數 index.max_result_window 的值，預設值為 10,000。

需要深度分頁，不受index.max_result_window 限制，怎麼辦？

Search after 在指定文件後取文件，可用於深度分頁

GET twitter/_search
{
    "size": 10,               首次查詢第一頁
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    },
    "sort": [
        {"date": "asc"},
        {"_id": "desc"}
    ]
}

GET twitter/_search
{
    "size": 10,                     後續頁的查詢
    "query": {
        "match" : {
            "title" : "elasticsearch"
        }
    },
    "search_after": [1463538857, "654323"],
    "sort": [
        {"date": "asc"},
        {"_id": "desc"}
    ]
}

注意：使用search_after，要求查詢必須指定排序，並且這個排序組合值每個文件唯一（最好排序中包含_id欄位）。 search_after的值用的就是這個排序值。用search_after時 from 只能為0、-1。

高亮

PUT /hl_test/_doc/1
{
  "title": "lucene solr and elasticsearch",
  "content": "lucene solr and elasticsearch for search"
}

GET /hl_test/_search
{
  "query": {
    "match": {
      "title": "lucene"
    }
  },
  "highlight": {
    "fields": {
      "title": {},
      "content": {}
    }
  }
}

GET /hl_test/_search
{
  "query": {
    "match": {
      "title": "lucene"
    }
  },
  "highlight": {
    "require_field_match": false,
    "fields": {
      "title": {},
      "content": {}
    }
  }
}

高亮結果在返回的每個文件中以hightlight節點給出

"highlight": {
  "title": [
	"<em>lucene</em> solr and elaticsearch"
  ]}

GET /hl_test/_search
{
  "query": {
    "match": {
      "title": "lucene"
    }
  },
  "highlight": {
    "require_field_match": false,
    "fields": {
      "title": {                   指定高亮標籤
        "pre_tags":["<strong>"],
        "post_tags": ["</strong>"]
      },
      "content": {}
    }
  }
}

Profile 為了除錯、優化

對於執行緩慢的查詢，我們很想知道它為什麼慢，時間都耗在哪了，可以在查詢上加入上 profile 來獲得詳細的執行步驟、耗時資訊。

GET /twitter/_search
{
  "profile": true,
  "query" : {
    "match" : { "message" : "some number" }
  }
}

資訊的說明請參考：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-profile.html

count api 查詢數量

PUT /twitter/_doc/1?refresh
{
    "user": "kimchy"
}

GET /twitter/_doc/_count?q=user:kimchy

GET /twitter/_doc/_count
{
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}

{
    "count" : 1,
    "_shards" : {
        "total" : 5,
        "successful" : 5,
        "skipped" : 0,
        "failed" : 0
    }
}

validate api

用來檢查我們的查詢是否正確，以及檢視底層生成查詢是怎樣的。

GET twitter/_validate/query?q=user:foo

GET twitter/_doc/_validate/query
{
  "query": {                 校驗查詢
    "query_string": {
      "query": "post_date:foo",
      "lenient": false
    }
  }
}

GET twitter/_doc/_validate/query?explain=true
{
  "query": {                 獲得查詢解釋
    "query_string": {
      "query": "post_date:foo",
      "lenient": false
    }
  }
}

GET twitter/_doc/_validate/query?rewrite=true
{
  "query": {
    "more_like_this": {
      "like": {                   用rewrite獲得比explain 更詳細的解釋
        "_id": "2"
      },
      "boost_terms": 1
    }
  }
}

GET twitter/_doc/_validate/query?rewrite=true&all_shards=true
{
  "query": {                     獲得所有分片上的查詢解釋
    "match": {
      "user": {
        "query": "kimchy",
        "fuzziness": "auto"
      }
    }
  }
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-validate.html

Explain api

獲得某個查詢的評分解釋,及某個文件是否被這個查詢命中

GET /twitter/_doc/0/_explain
{
      "query" : {
        "match" : { "message" : "elasticsearch" }
      }
}

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-explain.html

Search Shards API

讓我們可以瞭解可執行查詢的索引分片節點情況

GET /twitter/_search_shards

想知道指定routing值的查詢將在哪些分片節點上執行

GET /twitter/_search_shards?routing=foo,baz

Search Template

POST _scripts/<templatename>
{
    "script": {
        "lang": "mustache",
        "source": {
            "query": {
                "match": {
                    "title": "{{query_string}}"
                }
            }
        }
    }
}
註冊一個模板

GET _search/template
{
    "id": "<templateName>", 
    "params": {
        "query_string": "search for these words"
    }
}
使用模板進行查詢

詳細瞭解請參考官網：

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-template.html

搜尋引擎（Elasticsearch搜尋詳解）

學完本課題，你應達成如下目標：

搜尋API

搜尋引擎（Elasticsearch搜尋詳解）

搜尋引擎（Solr-搜尋詳解）

搜尋引擎（Solr-搜尋詳解2）

搜尋引擎（Solr-搜尋詳解3）

Elasticsearch搜尋詳解（二）：請求體搜尋

Elasticsearch搜尋詳解（一）：基於 url 的搜尋

elasticsearch-.yml（中文配置詳解）

JAVA學習路線圖（一文詳解）

json to bean（JSONObject類詳解）

如何更加安全、高效地選擇開源項目（內附詳解）

字符串哈希算法（以ELFHash詳解）

Python輸出hello world（各行命令詳解）

華為交換機私有hybird接口模式：（案例+原理詳解）

Javascript二（函數詳解）

易語云模組-易語言郵件傳送模組下載（含命令詳解）

易語雲模塊-易語言郵件發送模塊下載（含命令詳解）

CAN匯流排基礎（二）——CAN匯流排物理層介紹（匯流排電壓詳解）

擷取拼接成新的字串System.arraycopy()如何一分鐘快速掌握（示例程式碼詳解）

虛擬機器，伺服器中原來是這麼部署的（Tomcat篇詳解）

nginx+lua openresty開發系列-（log日誌詳解）

搜尋引擎（Elasticsearch搜尋詳解）

學完本課題，你應達成如下目標：

搜尋API

相關推薦