手把手教你搭建一個 Elasticsearch 叢集

ElasticSearch · 發表 2018-10-17 10:45:21

摘要：為何要搭建 Elasticsearch 叢集凡事都要講究個為什麼。在搭建叢集之前，我們首先先問一句，為什麼我們需要搭建叢集？它有什麼優勢呢？高可用性 Elasticsearch 作為一個搜尋引擎，我們對它的基本要求就是儲存海量資料並且可以在非常短的時間內查詢到我們想要的資訊。所...

為何要搭建 Elasticsearch 叢集

凡事都要講究個為什麼。在搭建叢集之前，我們首先先問一句，為什麼我們需要搭建叢集？它有什麼優勢呢？

高可用性

Elasticsearch 作為一個搜尋引擎，我們對它的基本要求就是儲存海量資料並且可以在非常短的時間內查詢到我們想要的資訊。所以第一步我們需要保證的就是 Elasticsearch 的高可用性，什麼是高可用性呢？它通常是指，通過設計減少系統不能提供服務的時間。假設系統一直能夠提供服務，我們說系統的可用性是 100%。如果系統在某個時刻宕掉了，比如某個網站在某個時間掛掉了，那麼就可以它臨時是不可用的。所以，為了保證 Elasticsearch 的高可用性，我們就應該儘量減少 Elasticsearch 的不可用時間。

那麼怎樣提高 Elasticsearch 的高可用性呢？這時叢集的作用就體現出來了。假如 Elasticsearch 只放在一臺伺服器上，即單機執行，假如這臺主機突然斷網了或者被攻擊了，那麼整個 Elasticsearch 的服務就不可用了。但如果改成 Elasticsearch 叢集的話，有一臺主機宕機了，還有其他的主機可以支撐，這樣就仍然可以保證服務是可用的。

那可能有的小夥伴就會說了，那假如一臺主機宕機了，那麼不就無法訪問這臺主機的資料了嗎？那假如我要訪問的資料正好存在這臺主機上，那不就獲取不到了嗎？難道其他的主機裡面也存了一份一模一樣的資料？那這豈不是很浪費嗎？

為了解答這個問題，這裡就引出了 Elasticsearch 的資訊儲存機制了。首先解答上面的問題，一臺主機宕機了，這臺主機裡面存的資料依然是可以被訪問到的，因為在其他的主機上也有備份，但備份的時候也不是整臺主機備份，是分片備份的，那這裡就又引出了一個概念——分片。

分片，英文叫做 Shard，顧名思義，分片就是對資料切分成了多個部分。我們知道 Elasticsearch 中一個索引（Index）相當於是一個資料庫，如存某網站的使用者資訊，我們就建一個名為 user 的索引。但索引儲存的時候並不是整個存一起的，它是被分片儲存的，Elasticsearch 預設會把一個索引分成五個分片，當然這個數字是可以自定義的。分片是資料的容器，資料儲存在分片內，分片又被分配到叢集內的各個節點裡。當你的叢集規模擴大或者縮小時， Elasticsearch 會自動的在各節點中遷移分片，使得資料仍然均勻分佈在叢集裡，所以相當於一份資料被分成了多份並儲存在不同的主機上。

那這還是沒解決問題啊，如果一臺主機掛掉了，那麼這個分片裡面的資料不就無法訪問了？別的主機都是儲存的其他的分片。其實是可以訪問的，因為其他主機儲存了這個分片的備份，叫做副本，這裡就引出了另外一個概念——副本。

副本，英文叫做 Replica，同樣顧名思義，副本就是對原分片的複製，和原分片的內容是一樣的，Elasticsearch 預設會生成一份副本，所以相當於是五個原分片和五個分片副本，相當於一份資料存了兩份，並分了十個分片，當然副本的數量也是可以自定義的。這時我們只需要將某個分片的副本存在另外一臺主機上，這樣當某臺主機宕機了，我們依然還可以從另外一臺主機的副本中找到對應的資料。所以從外部來看，資料結果是沒有任何區別的。

一般來說，Elasticsearch 會盡量把一個索引的不同分片儲存在不同的主機上，分片的副本也儘可能存在不同的主機上，這樣可以提高容錯率，從而提高高可用性。

但這時假如你只有一臺主機，那不就沒辦法了嗎？分片和副本其實是沒意義的，一臺主機掛掉了，就全掛掉了。

健康狀態

針對一個索引，Elasticsearch 中其實有專門的衡量索引健康狀況的標誌，分為三個等級：

green，綠色。這代表所有的主分片和副本分片都已分配。你的叢集是 100% 可用的。
yellow，黃色。所有的主分片已經分片了，但至少還有一個副本是缺失的。不會有資料丟失，所以搜尋結果依然是完整的。不過，你的高可用性在某種程度上被弱化。如果更多的分片消失，你就會丟資料了。所以可把 yellow 想象成一個需要及時調查的警告。
red，紅色。至少一個主分片以及它的全部副本都在缺失中。這意味著你在缺少資料：搜尋只能返回部分資料，而分配到這個分片上的寫入請求會返回一個異常。

如果你只有一臺主機的話，其實索引的健康狀況也是 yellow，因為一臺主機，叢集沒有其他的主機可以防止副本，所以說，這就是一個不健康的狀態，因此叢集也是十分有必要的。

儲存空間

另外，既然是群集，那麼儲存空間肯定也是聯合起來的，假如一臺主機的儲存空間是固定的，那麼叢集它相對於單個主機也有更多的儲存空間，可儲存的資料量也更大。

所以綜上所述，我們需要一個叢集！

詳細瞭解 Elasticsearch 叢集

接下來我們再來了解下叢集的結構是怎樣的。

首先我們應該清楚多臺主機構成了一個叢集，每臺主機稱作一個節點（Node）。

如圖就是一個三節點的叢集：

在圖中，每個 Node 都有三個分片，其中 P 開頭的代表 Primary 分片，即主分片，R 開頭的代表 Replica 分片，即副本分片。所以圖中主分片 1、2，副本分片 0 儲存在 1 號節點，副本分片 0、1、2 儲存在 2 號節點，主分片 0 和副本分片 1、2 儲存在 3 號節點，一共是 3 個主分片和 6 個副本分片。同時我們還注意到 1 號節點還有個 MASTER 的標識，這代表它是一個主節點，它相比其他的節點更加特殊，它有許可權控制整個叢集，比如資源的分配、節點的修改等等。

這裡就引出了一個概念就是節點的型別，我們可以將節點分為這麼四個型別：

主節點：即 Master 節點。主節點的主要職責是和叢集操作相關的內容，如建立或刪除索引，跟蹤哪些節點是群集的一部分，並決定哪些分片分配給相關的節點。穩定的主節點對叢集的健康是非常重要的。預設情況下任何一個叢集中的節點都有可能被選為主節點。索引資料和搜尋查詢等操作會佔用大量的cpu，記憶體，io資源，為了確保一個叢集的穩定，分離主節點和資料節點是一個比較好的選擇。雖然主節點也可以協調節點，路由搜尋和從客戶端新增資料到資料節點，但最好不要使用這些專用的主節點。一個重要的原則是，儘可能做盡量少的工作。
資料節點：即 Data 節點。資料節點主要是儲存索引資料的節點，主要對文件進行增刪改查操作，聚合操作等。資料節點對 CPU、記憶體、IO 要求較高，在優化的時候需要監控資料節點的狀態，當資源不夠的時候，需要在叢集中新增新的節點。
負載均衡節點：也稱作 Client 節點，也稱作客戶端節點。當一個節點既不配置為主節點，也不配置為資料節點時，該節點只能處理路由請求，處理搜尋，分發索引操作等，從本質上來說該客戶節點表現為智慧負載平衡器。獨立的客戶端節點在一個比較大的叢集中是非常有用的，他協調主節點和資料節點，客戶端節點加入叢集可以得到叢集的狀態，根據叢集的狀態可以直接路由請求。
預處理節點：也稱作 Ingest 節點，在索引資料之前可以先對資料做預處理操作，所有節點其實預設都是支援 Ingest 操作的，也可以專門將某個節點配置為 Ingest 節點。

以上就是節點幾種型別，一個節點其實可以對應不同的型別，如一個節點可以同時成為主節點和資料節點和預處理節點，但如果一個節點既不是主節點也不是資料節點，那麼它就是負載均衡節點。具體的型別可以通過具體的配置檔案來設定。

怎樣搭建 Elasticsearch 叢集

好，接下來我們就來動手搭建一個叢集吧。

這裡我一共擁有七臺 Linux 主機，系統是 Ubuntu 16.04，都連線在一個內網中，IP 地址為：

10.0.0.4
10.0.0.5
10.0.0.6
10.0.0.7
10.0.0.8
10.0.0.9
10.0.0.10
複製程式碼

每臺主機的儲存空間是 1TB，記憶體是 13GB。

下面我們來一步步介紹如何用這幾臺主機搭建一個 Elasticsearch 叢集，這裡使用的 Elasticsearch 版本是 6.3.2，另外我們還需要安裝 Kibana 用來視覺化監控和管理 Elasticsearch 的相關配置和資料，使得叢集的管理更加方便。

環境配置如下所示：

名稱	內容
主機臺數	7
主機記憶體	13GB
主機系統	Ubuntu 16.04
儲存空間	1TB
Elasticsearch 版本	6.3.2
Java 版本	1.8
Kibana 版本	6.3.2

安裝 Java

Elasticsearch 是基於 Lucene 的，而 Lucene 又是基於 Java 的。所以第一步我們就需要在每臺主機上安裝 Java。

首先更新 Apt 源：

sudo apt-get update
複製程式碼

然後安裝 Java：

sudo apt-get install default-jre
複製程式碼

安裝好了之後可以檢查下 Java 的版本：

java -version
複製程式碼

這裡的版本是 1.8，類似輸出如下：

openjdk version "1.8.0_171"
OpenJDK Runtime Environment (build 1.8.0_171-8u171-b11-0ubuntu0.16.04.1-b11)
OpenJDK 64-Bit Server VM (build 25.171-b11, mixed mode)
複製程式碼

如果看到上面的內容就說明安裝成功了。

注意一定要每臺主機都要安裝。

安裝 Elasticsearch

接下來我們來安裝 Elasticsearch，同樣是每臺主機都需要安裝。

首先需要新增 Apt-Key：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
複製程式碼

然後新增 Elasticsearch 的 Repository 定義：

echo "deb https://artifacts.elastic.co/packages/6.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-6.x.list
複製程式碼

接下來安裝 Elasticsearch 即可：

sudo apt-get update 
sudo apt-get install elasticsearch
複製程式碼

執行完畢之後我們就完成了 Elasticsearch 的安裝，注意還是要每臺主機都要安裝。

配置 Elasticsearch

這時我們只是每臺主機都安裝好了 Elasticsearch，接下來我們還需要將它們聯絡在一起構成一個叢集。

安裝完之後，Elasticsearch 的配置檔案是 /etc/elasticsearch/elasticsearch.yml，接下來讓我們編輯一下配置檔案：

叢集的名稱

通過 cluster.name 可以配置叢集的名稱，叢集是一個整體，因此名稱都要一致，所有主機都配置成相同的名稱，配置示例：

cluster.name: germey-es-clusters
複製程式碼

節點的名稱

通過 node.name 可以配置每個節點的名稱，每個節點都是叢集的一部分，每個節點名稱都不要相同，可以按照順序編號，配置示例：

node.name: es-node-1
複製程式碼

其他的主機可以配置為 es-node-2 、 es-node-3 等。

是否有資格成為主節點

通過 node.master 可以配置該節點是否有資格成為主節點，如果配置為 true，則主機有資格成為主節點，配置為 false 則主機就不會成為主節點，可以去當資料節點或負載均衡節點。注意這裡是有資格成為主節點，不是一定會成為主節點，主節點需要叢集經過選舉產生。這裡我配置所有主機都可以成為主節點，因此都配置為 true，配置示例：

node.master: true
複製程式碼

是否是資料節點

通過 node.data 可以配置該節點是否為資料節點，如果配置為 true，則主機就會作為資料節點，注意主節點也可以作為資料節點，當 node.master 和 node.data 均為 false，則該主機會作為負載均衡節點。這裡我配置所有主機都是資料節點，因此都配置為 true，配置示例：

node.data: true
複製程式碼

資料和日誌路徑

通過 path.data 和 path.logs 可以配置 Elasticsearch 的資料儲存路徑和日誌儲存路徑，可以指定任意位置，這裡我指定儲存到 1T 硬碟對應的路徑下，另外注意一下寫入許可權問題，配置示例：

path.data: /datadrive/elasticsearch/data
path.logs: /datadrive/elasticsearch/logs
複製程式碼

設定訪問的地址和埠

我們需要設定 Elasticsearch 執行繫結的 Host，預設是無法公開訪問的，如果設定為主機的公網 IP 或 0.0.0.0 就是可以公開訪問的，這裡我們可以都設定為公開訪問或者部分主機公開訪問，如果是公開訪問就配置為：

network.host: 0.0.0.0
複製程式碼

如果不想被公開訪問就不用配置。

另外還可以配置訪問的埠，預設是 9200：

http.port: 9200
複製程式碼

叢集地址設定

通過 discovery.zen.ping.unicast.hosts 可以配置叢集的主機地址，配置之後叢集的主機之間可以自動發現，這裡我配置的是內網地址，配置示例：

discovery.zen.ping.unicast.hosts: ["10.0.0.4", "10.0.0.5", "10.0.0.6", "10.0.0.7", "10.0.0.8", "10.0.0.9", "10.0.0.10"]
複製程式碼

這裡請改成你的主機對應的 IP 地址。

節點數目相關配置

為了防止叢集發生“腦裂”，即一個叢集分裂成多個，通常需要配置叢集最少主節點數目，通常為 (可成為主節點的主機數目 / 2) + 1，例如我這邊可以成為主節點的主機數目為 7，那麼結果就是 4，配置示例：

discovery.zen.minimum_master_nodes: 4
複製程式碼

另外還可以配置當最少幾個節點回復之後，叢集就正常工作，這裡我設定為 4，可以酌情修改，配置示例：

gateway.recover_after_nodes: 4
複製程式碼

其他的暫時先不需要配置，儲存即可。注意每臺主機都需要配置。

啟動 Elasticsearch

配置完成之後就可以在每臺主機上分別啟動 Elasticsearch 服務了，命令如下：

sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
sudo systemctl start elasticsearch.service
複製程式碼

所有主機都啟動之後，我們在任意主機上就可以檢視到叢集狀態了，命令列如下：

curl -XGET 'http://localhost:9200/_cluster/state?pretty'
複製程式碼

類似的輸出如下：

{
"cluster_name": "germey-es-clusters",
"compressed_size_in_bytes": 20799,
"version": 658,
"state_uuid": "a64wCwPnSueKRtVuKx8xRw",
"master_node": "73BQvOC2TpSXcr-IXBcDdg",
"blocks": {},
"nodes": {
"I2M80AP-T7yVP_AZPA0bpA": {
"name": "es-node-1",
"ephemeral_id": "KpCG4jNvTUGKNHNwKKoMrA",
"transport_address": "10.0.0.4:9300",
"attributes": {
"ml.machine_memory": "7308464128",
"ml.max_open_jobs": "20",
"xpack.installed": "true",
"ml.enabled": "true"
}
},
"73BQvOC2TpSXcr-IXBcDdg": {
"name": "es-node-7",
"ephemeral_id": "Fs9v2XTASnGbqrM8g7IhAQ",
"transport_address": "10.0.0.10:9300",
"attributes": {
"ml.machine_memory": "14695202816",
"ml.max_open_jobs": "20",
"xpack.installed": "true",
"ml.enabled": "true"
}
},
....
複製程式碼

可以看到這裡輸出了叢集的相關資訊，同時 nodes 欄位裡面包含了每個節點的詳細資訊，這樣一個基本的叢集就構建完成了。

安裝 Kibana

接下來我們需要安裝一個 Kibana 來幫助視覺化管理 Elasticsearch，依然還是通過 Apt 安裝，只需要任意一臺主機安裝即可，因為叢集是一體的，所以 Kibana 在任意一臺主機只要能連線到 Elasticsearch 即可，安裝命令如下：

sudo apt-get install kibana
複製程式碼

安裝之後修改 /etc/kibana/kibana.yml，設定公開訪問和繫結的埠：

server.port: 5601
server.host: "0.0.0.0"
複製程式碼

然後啟動服務：

sudo systemctl daemon-reload
sudo systemctl enable kibana.service
sudo systemctl start kibana.service
複製程式碼

這樣我們可以在瀏覽器輸入該臺主機的 IP 加埠，檢視 Kibana 管理頁面了，類似如下：

這樣 Kibana 視覺化管理就配置成功了。

配置認證

現在叢集已經初步搭建完成了，但是現在叢集很危險，如果我們配置了可公網訪問，那麼它是可以被任何人操作的，比如儲存資料，增刪節點等，這是非常危險的，所以我們必須要設定訪問許可權。

在 Elasticsearch 中，配置認證是通過 X-Pack 外掛實現的，幸運的是，我們不需要額外安裝了，在 Elasticsearch 6.3.2 版本中，該外掛是預設整合到 Elasticsearch 中的，所以我們只需要更改一部分設定就可以了。

首先我們需要升級 License，只有修改了高階版 License 才能使用 X-Pack 的許可權認證功能。

在 Kibana 中訪問 Management -> Elasticsearch -> License Management，點選右側的升級 License 按鈕，可以免費試用 30 天的高階 License，升級完成之後頁面會顯示如下：

另外還可以使用 API 來更新 License，詳情可以參考官方文件：https://www.elastic.co/guide/en/elasticsearch/reference/6.2/update-license.html。

然後每臺主機需要修改 /etc/elasticsearch/elasticsearch.yml 檔案，開啟 Auth 認證功能：

xpack.security.enabled: true
複製程式碼

隨後設定 elastic、kibana、logstash_system 三個使用者的密碼，任意一臺主機修改之後，一臺修改，多臺生效，命令如下：

/usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive
複製程式碼

執行之後會依次提示設定這三個使用者的密碼並確認，一共需要輸入六次密碼，完成之後就成功設定好了密碼了。

修改完成之後重啟 Elasticsearch 和 Kibana 服務：

sudo systemctl restart elasticsearch.service
sudo systemctl restart kibana.service
複製程式碼

這時再訪問 Kibana 就會跳轉到登入頁面了：

可以使用 elastic 使用者登入，它的角色是超級管理員，登入之後就可以重新進入 Kibana 的管理頁面。

我們還可以自行修改和新增賬戶，在 Management -> Security -> User/Roles 裡面：

例如這裡新增一個超級管理員的賬戶：

這樣以後我們就可以使用新新增的使用者來登入和訪問了。

另外修改許可權認證之後，Elasticsearch 也不能直接訪問了，我們也必須輸入使用者密碼才可以訪問和呼叫其 API，保證了安全性。

開啟記憶體鎖定

系統預設會進行記憶體交換，這樣會導致 Elasticsearch 的效能變差，我們檢視下記憶體鎖定狀態，在任意一臺主機上的訪問 http://ip:port/_nodes?filter_path=**.mlockall ：

可以看到如下結果：

{
"nodes": {
"73BQvOC2TpSXcr-IXBcDdg": {
"process": {
"mlockall": false
}
},
"9tRr4nFDT_2rErLLQB2dIQ": {
"process": {
"mlockall": false
}
},
"hskSDv_JQlCUnjp_INI8Kg": {
"process": {
"mlockall": false
}
},
"LgaRuqXBTZaBdDGAktFWJA": {
"process": {
"mlockall": false
}
},
"ZcsZgowERzuvpqVbYOgOEA": {
"process": {
"mlockall": false
}
},
"I2M80AP-T7yVP_AZPA0bpA": {
"process": {
"mlockall": false
}
},
"_mSmfhUtQiqhzTKZ7u75Dw": {
"process": {
"mlockall": true
}
}
}
}
複製程式碼

這代表記憶體交換沒有開啟，會影響 Elasticsearch 的效能，所以我們需要開啟記憶體實體地址鎖定，每臺主機需要修改 /etc/elasticsearch/elasticsearch.yml 檔案，修改如下配置：

bootstrap.memory_lock: true
複製程式碼

但這樣修改之後重新啟動是會報錯的，Elasticsearch 無法正常啟動，檢視日誌，報錯如下：

[1] bootstrap checks failed
[1]: memory locking requested for elasticsearch process but memory is not locked
複製程式碼

這裡需要修改兩個地方，第一個是 /etc/security/limits.conf，新增如下內容：

* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
* hard memlock unlimited
* soft memlock unlimited
複製程式碼

另外還需要修改 /etc/systemd/system.conf，修改如下內容：

DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity
複製程式碼

詳細的解釋可以參考：https://segmentfault.com/a/1190000014891856。

修改之後重啟 Elasticsearch 服務：

sudo systemctl restart elasticsearch.service
複製程式碼

重新訪問剛才的地址，即可發現每臺主機的實體地址鎖定都被打開了：

{
"nodes": {
"73BQvOC2TpSXcr-IXBcDdg": {
"process": {
"mlockall": true
}
},
"9tRr4nFDT_2rErLLQB2dIQ": {
"process": {
"mlockall": true
}
},
"hskSDv_JQlCUnjp_INI8Kg": {
"process": {
"mlockall": true
}
},
"LgaRuqXBTZaBdDGAktFWJA": {
"process": {
"mlockall": true
}
},
"ZcsZgowERzuvpqVbYOgOEA": {
"process": {
"mlockall": true
}
},
"I2M80AP-T7yVP_AZPA0bpA": {
"process": {
"mlockall": true
}
},
"_mSmfhUtQiqhzTKZ7u75Dw": {
"process": {
"mlockall": true
}
}
}
}
複製程式碼

這樣我們就又解決了效能的問題。

安裝分詞外掛

另外還推薦安裝中文分詞外掛，這樣可以對中文進行全文索引，安裝命令如下：

sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.2/elasticsearch-analysis-ik-6.3.2.zip
複製程式碼

安裝完之後需要重啟 Elasticsearch 服務：

sudo systemctl restart elasticsearch.service
複製程式碼

主機監控

到此為止，我們的 Elasticsearch 叢集就搭建完成了。

最後我們看下 Kibana 的部分功能，看下整個 Elasticsearch 有沒有在正常工作。

訪問 Kibana，開啟 Management -> Elasticsearch ->Index Management，即可看到當前有的一些索引和狀態：

開啟 Monitoring，可以檢視 Elasticsearch 和 Kibana 的狀態：

進一步點選 Nodes，可以檢視各個節點的狀態：

開啟任意節點，可以檢視當前資源狀況變化：

另外還有一些其他的功能如視覺化、圖表、搜尋等等，這裡就不再一一列舉了，更多功能可以詳細瞭解 Kibana。

以上都是自己在安裝過程中的記錄和趟過的坑，如有疏漏，還望指正。

還有更多的 Elasticsearch 相關的內容可以參考官方文件：https://www.elastic.co/guide/index.html。

參考資料

https://www.elastic.co/guide/en/x-pack/current/security-getting-started.html
https://segmentfault.com/a/1190000014891856
https://blog.csdn.net/a19860903/article/details/72467996
https://logz.io/blog/elasticsearch-cluster-tutorial/
https://es.xiaoleilu.com/020_Distributed_Cluster/30_Scale_more.html
https://blog.csdn.net/archer119/article/details/76589189

大家好，我是崔慶才，微軟中國大資料工程師，在微軟小冰部門。當然這是我的職業，我平時還會從事網路爬蟲、Web開發、深度學習等方向的研究和開發工作。

我個人比較喜歡總結和分享，這次很榮幸在掘金的平臺把自己的爬蟲相關經驗分享給大家，包括爬取、解析、防反爬、加速等等部分，希望大家聽完之後有所收穫。

本週日(10月21日)我會做客掘金Bilibili直播間為大家做一場《健壯高效的網路爬蟲》的直播【網頁連結】。直播中我也會抽出 5 名小夥伴贈送各贈送一本《Python3網路爬蟲開發實戰》書籍一本，希望大家可以支援。