全文搜尋 屬於最常見的需求，開源的 ElasticSearch (以下簡稱 Elastic)是目前全文搜尋引擎的首選。

它可以快速地儲存、搜尋和分析海量資料。維基百科、Stack Overflow、Github 都採用它。

Elastic 的底層是開源庫 Lucene 。但是，你沒法直接用 Lucene，必須自己寫程式碼去呼叫它的介面。Elastic 是 Lucene 的封裝，提供了 REST API 的操作介面，開箱即用。

本文從零開始，講解如何使用 Elastic 搭建自己的全文搜尋引擎。每一步都有詳細的說明，大家跟著做就能學會。

一、安裝

Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考 這篇文章 ，注意要保證環境變數 JAVA_HOME 正確設定。

安裝完 Java，就可以跟著 官方文件 安裝 Elastic。直接下載壓縮包比較簡單。

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip  $ unzip elasticsearch-5.5.1.zip  $ cd elasticsearch-5.5.1/

接著，進入解壓後的目錄，執行下面的命令，啟動 Elastic。

$ ./bin/elasticsearch

如果這時 報錯 "max virtual memory areas vm.max map count [65530] is too low"，要執行下面的命令。

$ sudo sysctl -w vm.max_map_count=262144

如果一切正常，Elastic 就會在預設的9200埠執行。這時，開啟另一個命令列視窗，請求該埠，會得到說明資訊。

$ curl localhost:9200  {   "name" : "atntrTf",   "cluster_name" : "elasticsearch",   "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA",   "version" : {     "number" : "5.5.1",     "build_hash" : "19c13d0",     "build_date" : "2017-07-18T20:44:24.823Z",     "build_snapshot" : false,     "lucene_version" : "6.6.0"   },   "tagline" : "You Know, for Search" }

上面程式碼中，請求9200埠，Elastic 返回一個 JSON 物件，包含當前節點、叢集、版本等資訊。

按下 Ctrl + C，Elastic 就會停止執行。

預設情況下，Elastic 只允許本機訪問，如果需要遠端訪問，可以修改 Elastic 安裝目錄的 config/elasticsearch.yml 檔案，去掉 network.host 的註釋，將它的值改成 0.0.0.0 ，然後重新啟動 Elastic。

network.host: 0.0.0.0

上面程式碼中，設成 0.0.0.0 讓任何人都可以訪問。線上服務不要這樣設定，要設成具體的 IP。

二、基本概念

2.1 Node 與 Cluster

Elastic 本質上是一個分散式資料庫，允許多臺伺服器協同工作，每臺伺服器可以執行多個 Elastic 例項。

單個 Elastic 例項稱為一個節點(node)。一組節點構成一個叢集(cluster)。

2.2 Index

Elastic 會索引所有欄位，經過處理後寫入一個反向索引(Inverted Index)。查詢資料的時候，直接查詢該索引。

所以，Elastic 資料管理的頂層單位就叫做 Index(索引)。它是單個數據庫的同義詞。每個 Index (即資料庫)的名字必須是小寫。

下面的命令可以檢視當前節點的所有 Index。

$ curl -X GET 'http://localhost:9200/_cat/indices?v'

2.3 Document

Index 裡面單條的記錄稱為 Document(文件)。許多條 Document 構成了一個 Index。

Document 使用 JSON 格式表示，下面是一個例子。

{   "user": "張三",   "title": "工程師",   "desc": "資料庫管理" }

同一個 Index 裡面的 Document，不要求有相同的結構(scheme)，但是最好保持相同，這樣有利於提高搜尋效率。

2.4 Type

Document 可以分組，比如 weather 這個 Index 裡面，可以按城市分組(北京和上海)，也可以按氣候分組(晴天和雨天)。這種分組就叫做 Type，它是虛擬的邏輯分組，用來過濾 Document。

不同的 Type 應該有相似的結構(schema)，舉例來說， id 欄位不能在這個組是字串，在另一個組是數值。這是與關係型資料庫的表的 一個區別 。性質完全不同的資料(比如 products 和 logs )應該存成兩個 Index，而不是一個 Index 裡面的兩個 Type(雖然可以做到)。

下面的命令可以列出每個 Index 所包含的 Type。

$ curl 'localhost:9200/_mapping?pretty=true'

根據 規劃 ，Elastic 6.x 版只允許每個 Index 包含一個 Type，7.x 版將會徹底移除 Type。

三、新建和刪除 Index

新建 Index，可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是新建一個名叫 weather 的 Index。

$ curl -X PUT 'localhost:9200/weather'

伺服器返回一個 JSON 物件，裡面的 acknowledged 欄位表示操作成功。

{   "acknowledged":true,   "shards_acknowledged":true }

然後，我們發出 DELETE 請求，刪除這個 Index。

$ curl -X DELETE 'localhost:9200/weather'

四、中文分詞設定

首先，安裝中文分詞外掛。這裡使用的是 ik ，也可以考慮其他外掛(比如 smartcn )。

$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip

上面程式碼安裝的是5.5.1版的外掛，與 Elastic 5.5.1 配合使用。

接著，重新啟動 Elastic，就會自動載入這個新安裝的外掛。

然後，新建一個 Index，指定需要分詞的欄位。這一步根據資料結構而異，下面的命令只針對本文。基本上，凡是需要搜尋的中文欄位，都要單獨設定一下。

$ curl -X PUT 'localhost:9200/accounts' -d ' {   "mappings": {     "person": {       "properties": {         "user": {           "type": "text",           "analyzer": "ik_max_word",           "search_analyzer": "ik_max_word"         },         "title": {           "type": "text",           "analyzer": "ik_max_word",           "search_analyzer": "ik_max_word"         },         "desc": {           "type": "text",           "analyzer": "ik_max_word",           "search_analyzer": "ik_max_word"         }       }     }   } }'

上面程式碼中，首先新建一個名稱為 accounts 的 Index，裡面有一個名稱為 person 的 Type。 person 有三個欄位。

• user

• title

• desc

這三個欄位都是中文，而且型別都是文字(text)，所以需要指定中文分詞器，不能使用預設的英文分詞器。

Elastic 的分詞器稱為 analyzer 。我們對每個欄位指定分詞器。

"user": {   "type": "text",   "analyzer": "ik_max_word",   "search_analyzer": "ik_max_word" }

上面程式碼中， analyzer 是欄位文字的分詞器， search_analyzer 是搜尋詞的分詞器。 ik_max_word 分詞器是外掛 ik 提供的，可以對文字進行最大數量的分詞。

五、資料操作

5.1 新增記錄

向指定的 /Index/Type 傳送 PUT 請求，就可以在 Index 裡面新增一條記錄。比如，向 /accounts/person 傳送請求，就可以新增一條人員記錄。

$ curl -X PUT 'localhost:9200/accounts/person/1' -d ' {   "user": "張三",   "title": "工程師",   "desc": "資料庫管理" }'

伺服器返回的 JSON 物件，會給出 Index、Type、Id、Version 等資訊。

{   "_index":"accounts",   "_type":"person",   "_id":"1",   "_version":1,   "result":"created",   "_shards":{"total":2,"successful":1,"failed":0},   "created":true }

如果你仔細看，會發現請求路徑是 /accounts/person/1 ，最後的 1 是該條記錄的 Id。它不一定是數字，任意字串(比如 abc )都可以。

新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。

$ curl -X POST 'localhost:9200/accounts/person' -d ' {   "user": "李四",   "title": "工程師",   "desc": "系統管理" }'

上面程式碼中，向 /accounts/person 發出一個 POST 請求，新增一個記錄。這時，伺服器返回的 JSON 物件裡面， _id 欄位就是一個隨機字串。

{   "_index":"accounts",   "_type":"person",   "_id":"AV3qGfrC6jMbsbXb6k1p",   "_version":1,   "result":"created",   "_shards":{"total":2,"successful":1,"failed":0},   "created":true }

注意，如果沒有先建立 Index(這個例子是 accounts )，直接執行上面的命令，Elastic 也不會報錯，而是直接生成指定的 Index。所以，打字的時候要小心，不要寫錯 Index 的名稱。

5.2 檢視記錄

向 /Index/Type/Id 發出 GET 請求，就可以檢視這條記錄。

$ curl 'localhost:9200/accounts/person/1?pretty=true'

上面程式碼請求檢視 /accounts/person/1 這條記錄，URL 的引數 pretty=true 表示以易讀的格式返回。

返回的資料中， found 欄位表示查詢成功， _source 欄位返回原始記錄。

{   "_index" : "accounts",   "_type" : "person",   "_id" : "1",   "_version" : 1,   "found" : true,   "_source" : {     "user" : "張三",     "title" : "工程師",     "desc" : "資料庫管理"   } }

如果 Id 不正確，就查不到資料， found 欄位就是 false 。

$ curl 'localhost:9200/weather/beijing/abc?pretty=true'  {   "_index" : "weather",   "_type" : "beijing",   "_id" : "abc",   "found" : false }

5.3 刪除記錄

刪除記錄就是發出 DELETE 請求。

$ curl -X DELETE 'localhost:9200/accounts/person/1'

這裡先不要刪除這條記錄，後面還要用到。

5.4 更新記錄

更新記錄就是使用 PUT 請求，重新發送一次資料。

$ curl -X PUT 'localhost:9200/accounts/person/1' -d ' {     "user" : "張三",     "title" : "工程師",     "desc" : "資料庫管理，軟體開發" }'   {   "_index":"accounts",   "_type":"person",   "_id":"1",   "_version":2,   "result":"updated",   "_shards":{"total":2,"successful":1,"failed":0},   "created":false }

上面程式碼中，我們將原始資料從"資料庫管理"改成"資料庫管理，軟體開發"。 返回結果裡面，有幾個欄位發生了變化。

"_version" : 2, "result" : "updated", "created" : false

可以看到，記錄的 Id 沒變，但是版本(version)從 1 變成 2 ，操作型別(result)從 created 變成 updated ， created 欄位變成 false ，因為這次不是新建記錄。

六、資料查詢

6.1 返回所有記錄

使用 GET 方法，直接請求 /Index/Type/_search ，就會返回所有記錄。

$ curl 'localhost:9200/accounts/person/_search'  {   "took":2,   "timed_out":false,   "_shards":{"total":5,"successful":5,"failed":0},   "hits":{     "total":2,     "max_score":1.0,     "hits":[       {         "_index":"accounts",         "_type":"person",         "_id":"AV3qGfrC6jMbsbXb6k1p",         "_score":1.0,         "_source": {           "user": "李四",           "title": "工程師",           "desc": "系統管理"         }       },       {         "_index":"accounts",         "_type":"person",         "_id":"1",         "_score":1.0,         "_source": {           "user" : "張三",           "title" : "工程師",           "desc" : "資料庫管理，軟體開發"         }       }     ]   } }

上面程式碼中，返回結果的 took 欄位表示該操作的耗時(單位為毫秒)， timed_out 欄位表示是否超時， hits 欄位表示命中的記錄，裡面子欄位的含義如下。

• total ：返回記錄數，本例是2條。

• max_score ：最高的匹配程度，本例是 1.0 。

• hits ：返回的記錄組成的陣列。

返回的記錄中，每條記錄都有一個 _score 欄位，表示匹配的程式，預設是按照這個欄位降序排列。

6.2 全文搜尋

Elastic 的查詢非常特別，使用自己的 查詢語法 ，要求 GET 請求帶有資料體。

$ curl 'localhost:9200/accounts/person/_search'  -d ' {   "query" : { "match" : { "desc" : "軟體" }} }'

上面程式碼使用 Match 查詢 ，指定的匹配條件是 desc 欄位裡面包含"軟體"這個詞。返回結果如下。

{   "took":3,   "timed_out":false,   "_shards":{"total":5,"successful":5,"failed":0},   "hits":{     "total":1,     "max_score":0.28582606,     "hits":[       {         "_index":"accounts",         "_type":"person",         "_id":"1",         "_score":0.28582606,         "_source": {           "user" : "張三",           "title" : "工程師",           "desc" : "資料庫管理，軟體開發"         }       }     ]   } }

Elastic 預設一次返回10條結果，可以通過 size 欄位改變這個設定。

$ curl 'localhost:9200/accounts/person/_search'  -d ' {   "query" : { "match" : { "desc" : "管理" }},   "size": 1 }'

上面程式碼指定，每次只返回一條結果。

還可以通過 from 欄位，指定位移。

$ curl 'localhost:9200/accounts/person/_search'  -d ' {   "query" : { "match" : { "desc" : "管理" }},   "from": 1,   "size": 1 }'

上面程式碼指定，從位置1開始(預設是從位置0開始)，只返回一條結果。

6.3 邏輯運算

如果有多個搜尋關鍵字， Elastic 認為它們是 or 關係。

$ curl 'localhost:9200/accounts/person/_search'  -d ' {   "query" : { "match" : { "desc" : "軟體 系統" }} }'

上面程式碼搜尋的是 軟體 or 系統 。

如果要執行多個關鍵詞的 and 搜尋，必須使用 布林查詢 。

$ curl 'localhost:9200/accounts/person/_search'  -d ' {   "query": {     "bool": {       "must": [         { "match": { "desc": "軟體" } },         { "match": { "desc": "系統" } }       ]     }   } }'

七、參考連結

ElasticSearch 官方手冊

A Practical Introduction to Elasticsearch