elasticsearch基本概念與查詢語法

阿新 • • 發佈：2018-11-20

序言

後面有大量類似於mysql的sum， group by查詢
elk
===

elk總體架構

https://www.elastic.co/cn/products

Beat

基於go語言寫的輕量型資料採集器，讀取資料，迅速傳送到Logstash進行解析，亦或直接傳送到Elasticsearch進行集中式儲存和分析。

Logstash

Logstash 是開源的伺服器端資料處理管道，能夠同時從多個來源採集資料、格式化資料，然後將資料傳送到es進行儲存。

ElasticSearch

Elasticsearch 是基於JSON的分散式搜尋和分析引擎，是利用倒排索引實現的全文索引。

Kibana
Kibana 能夠視覺化 Elasticsearch 中的資料並操作。

elasticsearch

es在elk生態圈中處於核心地位，是開源大規模基於倒排索引的全文搜尋分析引擎，他幾乎能實時的支援儲存搜尋分析。
優勢:

橫向可擴充套件性: 增加伺服器可直接配置在叢集中
分片機制提供更好的分佈性: 分而治之的方式來提升處理效率
高可用: 提供複製（replica）機制
實時性: 通過將磁碟上的檔案放入檔案快取系統來提高查詢速度

基本概念

Index: 一系列文件的集合，類似於mysql中資料庫的概念

Type: 在Index裡面可以定義不同的type，type的概念類似於mysql中表的概念，是一系列具有相同特徵資料的結合。
Document: 文件的概念類似於mysql中的一條儲存記錄，並且為json格式，在Index下的不同type下，可以有許多document。
Shards: 在資料量很大的時候，進行水平的擴充套件，提高搜尋效能
Replicas: 防止某個分片的資料丟失，可以並行得在備份資料裡及搜尋提高效能

elasticsearch查詢語法

_cat API

查詢當前es叢集的相關訊息，包括叢集中的index數量、執行狀態、當前叢集所在的ip，目的在於將查詢的結果以更加友好的方式輸出。

cat: 輸出_cat api中所有支援的查詢命令
cat health: 檢查es叢集執行的狀況
cat count: 可以快速的查詢叢集或者index中文件的數量
cat indices: 查詢當前叢集中所有index的資料，包括index的分片數、document的數量、儲存所用的空間大小...
其他cat api參考官方文件: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/cat.html

Search APIs

搜尋資料，查詢語法多，功能強大
REST request URI: 輕便快速的URI查詢方法
REST request body: 可以有許多限制條件的json格式查詢方法

"query": 在請求訊息體中的query允許我們用Query DSL的方式查詢。
- "term": 查詢時判斷某個document是否包含某個具體的值，不會對被查詢的值進行分詞查詢
- "match" 將被查詢值進行分詞，然後用評分機制(TF/IDF)進行打分
- "match_phrase": 查詢指定段落
- "Bool": 結合其他真值查詢，通常和must should mustnot(與或非)一起組合出複雜的查詢
- "range": 查詢時指定某個欄位在某個特定的範圍
```
"range": {
      "FIELD": {# 指定具體過濾的欄位
        "gte": 1,# gte: >=, gt: >
        "lte": 10
      }
    }
```
"from": 以一定的偏移量來檢視我們檢索的結果，預設從檢索的第一條資料開始顯示
"size": 指定檢索結果中輸出的資料條數，預設為10條
"sort": 允許我們將檢索的結果以指定的欄位進行排序顯示
"_source": 指定檢索結果輸出的欄位
"script_fields": 該型別允許我們通過一個指令碼來計算document中不存在的值，比如我們需要計算install/click得到cti之類的

"script_fields": {
    "FIELD": {# 指定指令碼計算之後值得名稱
      "script": {# 指令碼內的運算
      }
    }
  }

"aggs": 基於搜尋查詢，可以巢狀聚合來組合複雜的需求

"aggs": {
    "NAME": {# 指定結果的名稱
      "AGG_TYPE": {# 指定具體的聚合方法，
        TODO: # 聚合體內製定具體的聚合欄位
      }
    }
    TODO: # 該處可以巢狀聚合
  }

Query DSL

Query DSL是es提供的一套完整的基於json格式的結構化查詢方法，包含兩類不同的查詢語義：

Leaf query clauses: 葉子查詢句法就是在指定的欄位中搜索指定的值，有match, term or range.
Compound query clauses: 複合查詢句法會包含葉子句法或者複合句法，作用是為了多重查詢，有bool or dis_max.

Query and filter context

查詢語句的行為取決於它是使用查詢型上下文還是過濾型上下文

Query context: 在這種上下文環境中，查詢語句的返回的結果是”結果和查詢語句的匹配程式如何“，返回的結果資料中都會帶上_score值，象徵匹配程度；
Filter context: 過濾型上下文環境中，查詢語句則表面匹配與否（yes or no）。es內建式為filter context保留快取用來提高查詢效能，因此filter context
查詢的速度要快於query context

elasticsearch查詢示例

_cat api查詢示例

_cat查詢當前es叢集執行的狀況

Kibana’s Console: `GET /_cat/health?v`
curl: `curl -XGET "127.0.0.1:9200/_cat/health?v"`

_cat查詢當前es叢集中所有的indices

Kibana’s Console: `GET /_cat/indices?v`
curl: `curl -XGET "127.0.0.1:9200/_cat/indices?v"`

_search api查詢示例

建立index

PUT /customer?pretty

output:

{
  "acknowledged": true,
  "shards_acknowledged": true
}

插入資料
日常任務中，有時候往es插入資料的時候會出現504閘道器超時，這時候就需要手動的插入少量資料

PUT /rta_daily_report/campaign/164983850_rba_20170808?pretty
{
  "doc": {
    "cid": 164983850,
    "advertiser_id": 799,
    "trace_app_id": "com.zeptolab.cats.google",
    "network_cid": "6656665",
    "platform": 1,
    "direct": 2,
    "last_second_domain": "",
    "jump_type": 2,
    "direct_trace_app_id": "",
    "mode": 0,
    "third": "kuaptrk.com",
    "hops": 9,
    "yyyymmdd": "2017-08-07T16:00:00",
    "type": "rba",
    "click": 2
  }
}

output:

{
  "_index": "rta_daily_report",
  "_type": "campaign",
  "_id": "164983851_rba_20170808",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "created": true
}

刪除資料
指定document_id刪除:

DELETE /rta_daily_report/campaign/164983850_rba_20170808?pretty

query中滿足一定條件刪除

POST rta_daily_report/_delete_by_query
{
  "query": { 
    "match": {
      "message": "some message"
    }
  }
}

根據具體document_id查詢

GET rta_daily_report/campaign/145603275_m_normal_20170804?pretty

output:

{
  "_index": "rta_daily_report",
  "_type": "campaign",
  "_id": "145603275_m_normal_20170804",
  "_version": 1,
  "found": true,
  "_source": {
    "cid": 145603275,
    "advertiser_id": 457,
    "trace_app_id": "id1105855019",
    "network_cid": "plr_gs_ios_cn_osv9",
    "platform": 2,
    "direct": 1,
    "last_second_domain": "tracking.lenzmx.com",
    "jump_type": 7,
    "direct_trace_app_id": "id1105855019",
    "mode": 3,
    "third": "3444.tlnk.io",
    "hops": 1,
    "yyyymmdd": "2017-08-03T16:00:00",
    "type": "m_normal",
    "click": 2,
    "impression": 3,
    "revenue": 0,
    "install": 0
  }
}

查詢所有資料
URI:

GET rta_daily_report/campaign/_search?q=*&pretty

request boy:

GET rta_daily_report/campaign/_search
{
  "query": {
    "match_all": {}
  }  
}

output:

"hits": {
    "total": 2705059,
    "max_score": 1,
    "hits": [
      {
        "_index": "rta_daily_report",
        "_type": "campaign",
        "_id": "163016610_rba_20170801",
        "_score": 1,
        "_source": {
          "cid": 163016610,
          "advertiser_id": 799,
          "trace_app_id": "mappstreet.videoeditor",
          "network_cid": "6287283",
          "platform": 1,
          "direct": 2,
          "last_second_domain": "",
          "jump_type": 2,
          "direct_trace_app_id": "",
          "mode": 0,
          "third": "aff.adsbreak.com",
          "hops": 8,
          "yyyymmdd": "2017-07-31T16:00:00",
          "type": "rba",
          "click": 0
        }
      },
      ....]
      }

查詢特定欄位，並且指定排序欄位
在indices為rta_daily_report中搜索type:rba,以日期升序輸出1個查詢結果
URI:

 GET rta_daily_report/_search?q=type:rba&sort=yyyymmdd:asc&pretty

request bofy:

GET rta_daily_report/_search
{
  "query": {
    "match": {
      "type": "rba"
    }
  },
  "sort": [
    {
      "yyyymmdd": {
        "order": "desc"
      }
    }
  ]
}

指定輸出欄位
查詢型別為rba/b2t，按照日期降序排列，輸出制定欄位，並且只輸出5條查詢結果，如果要匹配段落，則用"match_phrase": { "address": "mill lane" }

GET rta_daily_report/_search
{
  "query": {
    "match": {
      "type": "rba b2t"
    }
  },
  "sort": [
    {
      "yyyymmdd": {
        "order": "desc"
      }
    }
  ],
  "_source": ["yyyymmdd", "type", "cid", "click", "revenue"],
  "size": 5
}

output:

"hits": {
    "total": 1327184,
    "max_score": null,
    "hits": [
      {
        "_index": "rta_daily_report",
        "_type": "campaign",
        "_id": "54870921_b2t_20170804",
        "_score": null,
        "_source": {
          "revenue": 76500,
          "yyyymmdd": "2017-08-03T16:00:00",
          "type": "b2t",
          "click": 22616,
          "cid": 54870921
        },
        "sort": [
          1501776000000
        ]
      },

bool組合複雜查詢
下例是查詢型別為b2t，收入必須大於0的所有單子的click、revenue相關資料

GET rta_daily_report/_search
{
  "query": {
    "bool": {
      "must": [
        {"match": {
          "type": "b2t"
        }}
     ],
     "must_not": [
       {
         "range": {
           "revenue": {
             "lte": 0
           }
         }
       }
     ]
    }
  },
  "sort": [
    {
      "yyyymmdd": {
        "order": "desc"
      }
    }
  ],
  "_source": ["yyyymmdd", "type", "cid", "click", "revenue"],
  "size": 10       
}

聚合查詢
下例是類似於sql中的聚合查詢，查詢每天不同型別對應的intall總量

GET /rta_daily_report/_search
{
  "size": 0,
  "aggs": {
    "sum_install": {
      "date_histogram": {
        "field": "yyyymmdd",
        "interval": "day"
      },
      "aggs": {
        "types": {
          "terms": {
            "field": "type.keyword",
            "size": 10
          },
          "aggs": {
            "install": {
              "sum": {
                "field": "install"
              }
            }
          }
        }
      }
    }
  }
}

output

"aggregations": {
    "sum_install": {
      "buckets": [
        {
          "key_as_string": "2017-07-31T00:00:00.000Z",
          "key": 1501459200000,
          "doc_count": 659553,
          "types": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "rba",
                "doc_count": 321811,
                "install": {
                  "value": 73835
                }
              },
              {
                "key": "m_normal",
                "doc_count": 321711,
                "install": {
                  "value": 18964
                }
              },

script查詢
下例通過document中的click,install欄位，計算出文件中不存在的資料。

GET /rta_daily_report/campaign/_search?pretty
{
    "query" : {
      "bool": {
        "must": [
          {
            "range": {
              "click": {
                "gt": 0
              }
            }
          },
          {
            "range": {
              "install": {
                "gt": 0
              }
            }
          }
        ]
    }},
    "size": 100, 
    "script_fields": {
      "cti": {
        "script": {
          "lang": "painless",
          "inline": "1.0 * doc['install'].value / doc['click'].value"
        }
      }
    }
}

output

"hits": {
    "total": 23036,
    "max_score": 2,
    "hits": [
      {
        "_index": "rta_daily_report",
        "_type": "campaign",
        "_id": "160647918_rta_20170801",
        "_score": 2,
        "fields": {
          "cti": [
            0.0005970149253731343
          ]
        }
      },
      {
        "_index": "rta_daily_report",
        "_type": "campaign",
        "_id": "162293741_rta_20170801",
        "_score": 2,
        "fields": {
          "cti": [
            0.00007796055196070789
          ]
        }
      },

查詢一段時間內的聚合資料

GET rta_daily_report/campaign/_search
{
  "size": 0,
  "aggs": {
    "snaptime": {
      "date_range": {
        "field": "@timestamp",
        "ranges": [
          {
            "from": "now-30d/d",
            "to": "now"
          }
        ]
      },
      "aggs": {
        "sum_revenue": {
          "sum": {
            "field": "revenue"
          }
        }
      }
    }
  }
}

output:

"aggregations": {
    "snaptime": {
      "buckets": [
        {
          "key": "2017-07-17T00:00:00.000Z-2017-08-16T03:30:16.995Z",
          "from": 1500249600000,
          "from_as_string": "2017-07-17T00:00:00.000Z",
          "to": 1502854216995,
          "to_as_string": "2017-08-16T03:30:16.995Z",
          "doc_count": 18685619,
          "sum_revenue": {
            "value": 6631665219
          }
        }
      ]
    }
  }

查詢某段時間內聚合資料，並且script計算額外欄位

GET rta_daily_report/campaign/_search
{

  "size": 0,
  "aggs" : {
    "cvr_per_month" : {
      "date_range" : {
        "field": "@timestamp",
        "ranges": [
          {
            "from": "now-30d/d",
            "to": "now"
          }
        ]
      },
      "aggs": {
        "sum_click": {
          "sum": {
            "field": "click"
          }
        },
        "sum_install": {
          "sum": {
            "field": "install"
          }
        },
        "cvr": {
          "bucket_script": {
            "buckets_path": {
              "install": "sum_install",
              "click": "sum_click"
            },
           "script": "1.0 * params.install / params.click"
          }
        }
      }
    }
  }
}

output: 
"aggregations": {
    "cvr_per_month": {
      "buckets": [
        {
          "key": "2017-07-17T00:00:00.000Z-2017-08-16T03:37:22.732Z",
          "from": 1500249600000,
          "from_as_string": "2017-07-17T00:00:00.000Z",
          "to": 1502854642732,
          "to_as_string": "2017-08-16T03:37:22.732Z",
          "doc_count": 18685619,
          "sum_click": {
            "value": 15067388421
          },
          "sum_install": {
            "value": 7602055
          },
          "cvr": {
            "value": 0.0005045370032012133
          }
        }
      ]
    }
  }

參考連結：
日期格式
 查詢語法1
查詢語法2

作者：Hqmm
連結：https://www.jianshu.com/p/6333940621ec
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯絡作者獲得授權並註明出處。

elasticsearch基本概念與查詢語法

序言後面有大量類似於mysql的sum， group by查詢elk=== elk總體架構 https://www.elastic.co/cn/products Beat 基於go語言寫的輕量型資料採集器，讀取資料，迅速傳送到Logstash進行解析，亦

Elasticsearch基本概念及核心配置文件詳解

last log4j 強烈內存文檔 size oca 機制集群　　Elasticsearch5.X,下列的是Elasticsearch2.X系類配置，其實很多配置都是相互兼容的 1. 配置文件 config/elasticsearch.yml 主配置文件

ElasticSearch 基本概念

我們一個 repl search 關系行數 column 數據 replicas Index：Elasticsearch用來存儲數據的邏輯區域，它類似於關系型數據庫中的db概念。一個index可以在一個或者多個shard上面，同時一個shard也可能會有多個re

【Python】 Web開發框架的基本概念與開發的準備工作

世紀依賴包 ade 並不是模板界面 inux tar cal Web框架基本概念現在再來寫這篇文章顯然有些馬後炮的意思。不過正是因為已經學習了Flask框架，並且未來計劃學習更加體系化的Django框架，在學習過程中碰到的很多術語等等，非常有必要通過這樣一篇

計算機網路基礎 - 一些基本概念與網絡結構

logs 網路兩個 wdm comment quest 利用 gin 規範 1. 基本概念計算機網絡 = 通信技術+計算機技術，是兩項技術緊密結合的產物。通信系統的基礎模型：計算機網絡，是指將地理位置不同、具有獨立功能的多臺計算機及其外部設備，通過通信線路連接，在

Oracle sequence的基本概念與理解

side frame create varchar2 inf sel *** 順序 -s 1.如何查看sequence的定義 2.dba_sequences相關字的定義 3.如何修改sequence *************************************

Structured Streaming教程(1) —— 基本概念與使用

repr 開放 let 結果可靠技術分享 lines ole sock 近年來，大數據的計算引擎越來越受到關註，spark作為最受歡迎的大數據計算框架，也在不斷的學習和完善中。在Spark2.x中，新開放了一個基於DataFrame的無下限的流式處理組件——Struc

[Flink基本概念與部署]--Flink 程式設計模型【一】

一、Flink基本程式設計模型圖1 1、Stateful Stream Processing 它位於最底層，是core API 的底層實現；推薦學習時使用，生產中以穩定為主，不建議使用。 processFunction：開

Maven基本概念與核心配置

Maven的安裝與核心配置 1、安裝Maven 1）、官網下載 Maven （http://maven.apache.org/download.cgi）； 2）、解壓指定目錄； 3）、配置環境變數； 4）、使用mvn -version檢視Maven是否安裝成功

圖的基本概念與相關術語

1、圖（Graph）是由頂點的有窮非空集合和頂點之間邊的集合組成，通常表示為：G(V,E)，其中，G表示一個圖，V是圖G中頂點的集合，E是圖G中邊的集合。 2、對於圖的定義，我們需要明確幾個注意的地方：（1）線性表中我們把資料元素叫元素，樹中叫結點，在圖中資料元素我們則稱之為頂點(V

freertos- 任務基本概念與任務掛起和恢復解析

1、任務狀態任務實體 2、任務的優先順序 3、任務掛起和恢復的情形 4、任務掛起和恢復實現掛起任務列表 5、任務掛起和阻塞，認識恢復和

資料結構與演算法——基本概念與術語

概述資料、資料元素、資料物件資料（data）是對客觀事物的符號表示，在電腦科學中是指所有能輸入到計算機中並被計算機程式處理的程式的總稱。資料元素（data element）是資料的基本單位，在計算機程式中通常作為一個整體進行考慮和處理。一個數據元素可由若干個資料項（data ite

spark基本概念與執行架構

Apache Spark是一個分散式計算框架，旨在簡化運行於計算機叢集上的並行程式的編寫。 RDD：彈性分散式資料集(Resilient Distributed Dataset)是分散式記憶體的一個抽象概念，提供了一個高度受限的共享記憶體模型。一個RDD包含多個分割槽(Partition)。

HDFS基本概念與重新梳理（hdfs檔案資訊介紹）

HDFS（Hadoop Distributed File System ）Hadoop分散式檔案系統。是根據google發表的論文翻版的。論文為GFS（Google File System）Google 檔案系統（中文，英文）。 HDFS有很多特點： 1.儲存多個副本，且提供容錯機制，副

Git的基本概念與操作

=============================基本操作================================= 一、linux安裝git yum install git 二、拉取專案 git c

圖的基本概念與儲存

<一>圖的基本概念（1）；圖由頂點（vertex），邊（edge）組成，記號G（V，E）表示圖G的頂點集為V，邊集為E。 V={v1，v2，…… } 是有限非空集合，為頂點集，其元素稱為頂點或結點 E={e1，e2，…… } 是有限集合，稱為邊集

Java NIO的基本概念與使用

物理類型數據 long 緩沖區需要方法 ble pos public class TestBuffer { /** * 一. 緩沖區 (Buffer):Java Nio中負責數據的存取+緩沖就是數組.用於存儲不

關聯規則挖掘基本概念與Aprior演算法

關聯規則挖掘在電商、零售、大氣物理、生物醫學已經有了廣泛的應用，本篇文章將介紹一些基本知識和Aprori演算法。啤酒與尿布的故事已經成為了關聯規則挖掘的經典案例，還有人專門出了一本書《啤酒與尿布》，雖然說這個故事是哈弗商學院杜撰出來的，但確實能很好的解釋關聯規

Neo4j學習(二):Cypher基本概念與表示

前言從一堆眼花繚亂的事物中，清晰得把閃光的抓住。這就是思想的力量接下來了解一些關於Cypher的概念 Cypher 1、概念：，Cypher是文字描述性查詢語言，就好像SQL一樣。Cypher語言比較接近人的認知。告訴Neo4j如何和處理匹配項，但不會告訴

多執行緒的基本概念與執行緒安全問題

多執行緒: 基本概念程式:是一個可執行的檔案. 程序:是一個正在執行的程式.在記憶體中開闢了一塊兒空間執行緒:負責程式的執行,可以看做程式執行的一條通道或者一個執行單元.所以我們通常將

elasticsearch基本概念與查詢語法

序言

elk總體架構

elasticsearch

基本概念

elasticsearch查詢語法

_cat API

Search APIs

Query DSL

Query and filter context

elasticsearch查詢示例

_cat api查詢示例

_search api查詢示例

相關推薦