ElasticSearch實戰系列二: ElasticSearch的DSL語句使用教程---圖文詳解
前言
在上一篇中介紹了ElasticSearch叢集和kinaba的安裝教程，本篇文章就來講解下 ElasticSearch的DSL語句使用。
ElasticSearch DSL 介紹
Elasticsearch提供了基於JSON的完整查詢DSL（特定於域的語言）來定義查詢。將查詢DSL視為查詢的AST（抽象語法樹），它由兩種子句組成：
- 葉子查詢子句:
葉查詢子句中尋找一個特定的值在某一特定領域，如 match，term或 range查詢。這些查詢可以自己使用。 - 複合查詢子句
複合查詢子句包裝其他葉查詢或複合查詢，並用於以邏輯方式組合多個查詢（例如 bool或dis_max查詢），或更改其行為（例如 constant_score查詢）。查詢子句的行為會有所不同，具體取決於它們是在 查詢上下文中還是在過濾器上下文中使用。
我們在使用ElasticSearch的時候，避免不了使用DSL語句去查詢，就像使用關係型資料庫的時候要學會SQL語法一樣。如果我們學習好了DSL語法的使用，那麼在日後使用和使用Java Client呼叫時候也會變得非常簡單。
ElasticSearch DSL 語句使用
這裡我們先來介紹下DSL 語句簡單的使用，從最常用的增刪改查開始！
一、新增資料
ElasticSearch可以直接新增資料，只要你指定了index(索引庫名稱)和type(型別)即可。在新增的時候你可以自己指定主鍵ID，也可以不指定，由 ElasticSearch自身生成。
新增資料命令示例:
POST test1/_doc/1
{
"uid" : "1234",
"phone" : "12345678909",
"message" : "qq",
"msgcode" : "1",
"sendtime" : "2019-03-14 01:57:04"
}kinaba示例圖:
**注: POST test1/_doc/1 這是指定主鍵ID為1，如果POST test1/_doc 的話，那麼便是es自身生成ES語句。**
這裡我們還可以通過 GET test1/ 或 GET test1/_settings和GET test1/_mapping檢視該index的狀態，也就是 setting(設定選項) 和mapping(資料結構)。
二、建立索引庫
在上述示例中，我們通過直接通過建立資料從而建立了索引庫，但是沒有建立索引庫而通過ES自身生成的這種並不友好，因為它會使用預設的配置，欄位結構都是text(text的資料會分詞，在儲存的時候也會額外的佔用空間)，分片和索引副本採用預設值，預設是5和1，ES的分片數在建立之後就不能修改，除非reindex(下面會講到)，所以這裡我們還是指定資料模板進行建立。
這裡先簡單介紹一下ES的資料結構，以下的資料結構為ES的6.x版本。
- 核心資料型別
text 和 keyword - 數值資料型別
long，integer，short，byte，double，float，half_float，scaled_float - 日期資料型別
date - 布林資料型別
boolean - 二進位制資料型別
binary 範圍資料型別
integer_range，float_range，long_range，double_range，date_range- 複雜資料型別編輯
- 物件資料型別
object 用於單個JSON物件 巢狀資料型別
nested 用於JSON物件陣列- 地理資料型別編輯
- 地理位置資料型別
geo_point 緯度/經度積分 地理形狀資料型別
geo_shape 用於多邊形等複雜形狀- 專業資料型別編輯
- IP資料型別
ip 用於IPv4和IPv6地址 - 完成資料型別
completion 提供自動完成建議 - 令牌計數資料型別
token_count 計算字串中令牌的數量
mapper-murmur3
murmur3 在索引時計算值的雜湊並將其儲存在索引中
mapper-annotated-text
annotated-text 索引包含特殊標記的文字（通常用於標識命名實體） - 滲濾器型別
接受來自query-dsl的查詢 - join 資料型別
為同一索引內的文件定義父/子關係 別名資料型別
為現有欄位定義別名。多欄位編輯
為不同的目的以不同的方式對同一欄位建立索引通常很有用。例如，一個string欄位可以對映為text用於全文搜尋的欄位，也可以對映為keyword用於排序或聚合的欄位。或者，您可以使用standard分析儀， english分析儀和 french分析儀索引文字欄位。
這是多領域的目的。大多數資料型別通過fields引數支援多欄位。
上面介紹的欄位介紹雖然比較複雜，但是我們常用的幾個型別也就是這幾種 text、keyword、byte、short、integer、long、float、double、boolean、date，其中text和keyword都是string型別，選擇區分很簡單，需要進行分詞用text，不需要並且進行排序或聚合的可以用keyword。
關於ES的資料結構就到這裡了，我們來進行索引庫的建立吧！
新增索引庫的命令示例:
PUT test1
{
"settings" : {
"number_of_shards" : 10,
"number_of_replicas" : 1,
"refresh_interval" : "1s"
},
"mappings" : {
"_doc" : {
"properties" : {
"uid" : { "type" : "long" },
"phone" : { "type" : "long" },
"message" : { "type" : "keyword" },
"msgcode" : { "type" : "long" },
"sendtime" : {
"type" : "date",
"format" : "yyyy-MM-dd HH:mm:ss"
}
}
}
}
}示例圖:
注:
- number_of_shards: 是設定的分片數，設定之後無法更改！
- refresh_interval: 是設定es快取的重新整理時間，如果寫入較為頻繁，但是查詢對實時性要求不那麼高的話，可以設定高一些來提升效能。可以更改
- number_of_replicas : 是設定該索引庫的副本數，建議設定為1以上。
其中這裡還有幾個重要引數也順便說一下:
- store: true/false 表示該欄位是否儲存，預設儲存。
- doc_values: true/false 表示該欄位是否參與聚合和排序。
- index: true/false 表示該欄位是否建立索引，預設建立。
關於這幾個欄位的取值可以參考一下的示例圖:
三、修改資料
其實ES的新增和修改可以看做是一樣，存在則修改，不存在則新增，不過這裡還是簡單的介紹下吧。
修改資料的方式主要有兩種，一種是通過主鍵ID進行修改，這種比較簡單，就是和新增一樣即可。
另一種則是通過條件進行修改，相當於SQL更新語句的 where條件。
根據主鍵修改的命令示例:
POST test1/_doc/1
{
"uid" : "1234",
"phone" : "12345678909",
"message" : "qq",
"msgcode" : "1",
"sendtime" : "2019-03-14 01:57:04"
}根據條件修改的命令示例:
POST test1/_update_by_query
{
"query": {
"term": {
"phone": "12345678909"
}
} ,
"script": {
"source": "ctx._source['message'] = 'xuwujing'"
}
}原有的資料：
修改後的資料:
注：這裡的根據條件進行修改用到的指令碼語言，ES除了使用DSl語句之後，使用一些官方定義的指令碼語言和SQL語句也能進行操作，指令碼語言和SQL語句的操作留到以後在來講下。
四、刪除資料、欄位和索引庫
ES根據主鍵刪除資料的命令示例是DELETE 索引庫/id，簡單實用，但是一定要要加上ID，不然就是刪除索引庫了！
根據主鍵刪除資料命令示例：
DELETE test1/1根據條件刪除資料的命令示例：
POST test/_delete_by_query
{
"query": {
"term": {
"phone": "12345678909"
}
}
}當然ES還可以根據條件只刪除某一個欄位的資料，比如刪除欄位msgcode的資料。
刪除欄位資料的命令示例:
POST test/_doc/_update_by_query
{
"script":{
"lang":"painless",
"inline":"ctx._source.remove(\"msgcode\")"
}
}示例圖:
查詢語句
查詢所有
match_all可以查詢叢集所有索引庫的資訊，包括一些隱藏索性庫的資訊。
命令示例:
GET _search
{
"query": {
"match_all": {}
}
}示例圖:
查詢索引庫所有的資料，命令格式為GET 索引庫名稱/索引庫型別/_search，也可以不需要索引庫型別。
命令示例:
GET test1/_doc/_search如果根據ID查詢某一條資料的話，也比較簡單，只需要將上述的_search換成主鍵ID即可。
命令示例:
GET test1/_doc/2等值（term）查詢
term主要用於精確匹配哪些值，比如數字，日期，布林值或 not_analyzed 的字串(未經分析的文字資料型別)
比如根據手機號進行查詢。
命令示例:
GET test1/_doc/_search
{
"query": {
"term": {
"phone": "12345678909"
}
}
}當然，如果想在一個欄位匹配多個值的話，可以使用terms，相當於SQL的in語法。
命令示例:
GET test1/_doc/_search
{
"query": {
"terms": {
"uid": [
1234,
12345,
123456
]
}
}
}示例圖:
注：上述中是沒有123456這條資料，這樣只是為了做下簡單的測試而已。
範圍（range ）查詢
range可以理解為SQL中的><符號，其中gt是大於，lt是小於，gte是大於等於，lte是小於等於。
命令示例:
GET test1/_doc/_search
{
"query": {
"range": {
"uid": {
"gt": 1234,
"lte": 12345
}
}
}
}
存在(exists)查詢
exists可以理解為SQL中的exists函式，就是判斷是否存在該欄位。
這裡我們新增一條沒有msgcode的欄位，然後用exists去查詢。
POST test1/_doc/3
{
"uid" : "123456",
"phone" : "12345678909",
"message" : "qq",
"sendtime" : "2019-03-14 01:57:04"
}存在查詢命令示例:
GET test1/_doc/_search
{
"query": {
"exists": {
"field":"msgcode"
}
}
}示例圖:
組合(bool)查詢
bool 可以用來合併多個過濾條件查詢結果的布林邏輯，它包含這如下幾個操作符:
- must : 多個查詢條件的完全匹配,相當於 and。
- must_not ::多個查詢條件的相反匹配，相當於 not。
- should : 至少有一個查詢條件匹配, 相當於 or。
查詢的命令示例:
GET /test1/_search
{
"query": {
"bool": {
"must": {
"term": {
"phone": "12345678909"
}
},
"must_not": {
"term": {
"uid": 12345
}
},
"should": [
{
"term": {
"uid": 1234
}
},
{
"term": {
"uid": 123456
}
}
],
"adjust_pure_negative": true,
"boost": 1
}
}
}示例圖:
模糊(wildcard)查詢
wildcard查詢相當於SQL語句中的like語法，只不過它查詢的資料需要加上*符號。
模糊查詢命令示例:
GET /test1/_search
{
"query": {
"wildcard": {
"message":"*wu*"
}
}
}
正則(regexp)查詢
regexp可以支援正則查詢，比如查詢簡訊內容中的驗證碼之類的。
下面的這個示例就是查詢以xu開頭，後面是0-9數字的內容的資料。
正則查詢命令示例:
GET /test1/_search
{
"query": {
"regexp": {
"message":"xu[0-9]"
}
}
}示例圖:
查詢語句的示例到這裡就差不多就結束了，這裡在推薦一下kinaba查詢的幾個小技巧，如圖所示：
其它
參考：
https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
ElasticSearch個人已經使用一年多了，在學習的過程中也積攢了一些相關資料其，只不過今年特別忙，沒有太多時間將其整理成部落格進行分享了。說來慚愧，今年寫部落格的數量有些少了，下半年自己從一個周更博主變成了月更博主了，不過後面若是時間充足的話也會多些一些的，再忙每個月至少也會寫一篇 ヾ(◍°∇°◍)ﾉﾞ
ElasticSearch實戰系列:
ElasticSearch實戰系列一: ElasticSearch叢集+Kinaba安裝教程
音樂推薦
原創不易，如果感覺不錯，希望給個推薦！您的支援是我寫作的最大動力！
版權宣告:
作者：虛無境
部落格園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm
個人部落格出處：http://www.panchengming.