1. 程式人生 > >ELasticSearch(五)ES集群原理與搭建

ELasticSearch(五)ES集群原理與搭建

over mas 默認 all 關閉 高並發 url 影響 有一個

一、ES集群原理

  查看集群健康狀況:URL+ /GET _cat/health

  (1)、ES基本概念名詞

    Cluster

  代表一個集群,集群中有多個節點,其中有一個為主節點,這個主節點是可以通過選舉產生的,主從節點是對於集群內部來說的。es的一個概念就是去中心化,字面上理解就是無中心節點,這是對於集群外部來說的,因為從外部來看es集群,在邏輯上是個整體,你與任何一個節點的通信和與整個es集群通信是等價的。

    Shards

  代表索引分片,es可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節點上。構成分布式搜索。分片的數量只能在索引創建前指定,並且索引創建後不能更改。

    replicas

  代表索引副本,es可以設置多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜索請求進行負載均衡。

    Recovery

  代表數據恢復或叫數據重新分布,es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配,掛掉的節點重新啟動時也會進行數據恢復。

  (2)、ES為什麽要實現集群

  在單臺ES服務器節點上,隨著業務量的發展索引文件慢慢增多,會影響到效率和內存存儲問題等。

  我們可以采用ES集群,將單個索引的分片到多個不同分布式物理機器上存儲,從而可以實現高可用、容錯性等。

  ES集群中索引可能由多個分片構成,並且每個分片可以擁有多個副本。通過將一個單獨的索引分為多個分片,我們可以處理不能在一個單一的服務器上面運行的大型索引,簡單的說就是索引的大小過大,導致效率問題。不能運行的原因可能是內存也可能是存儲。由於每個分片可以有多個副本,通過將副本分配到多個服務器,可以提高查詢的負載能力。

  (3)、ES是如何解決高並發

  ES是一個分布式全文檢索框架,隱藏了復雜的處理機制,內部使用 分片機制、集群發現、分片負載均衡請求路由。

  Shards 分片:代表索引分片,es可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節點上。構成分布式搜索。分片的數量只能在索引創建前指定,並且索引創建後不能更改。  

  Replicas分片:代表索引副本,es可以設置多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜索請求進行負載均衡。

二、ES集群核心原理分析:

  1、每個索引會被分成多個分片shards進行存儲,默認創建索引是分配5個分片進行存儲。每個分片都會分布式部署在多個不同的節點上進行部署,該分片成為primary shards。

  註意:索引的主分片primary shards定義好後,後面不能做修改。

  2、為了實現高可用數據的高可用,主分片可以有對應的備分片replics shards,replic shards分片承載了負責容錯、以及請求的負載均衡。

  註意: 每一個主分片為了實現高可用,都會有自己對應的備分片,主分片對應的備分片不能存放同一臺服務器上。主分片primary shards可以和其他replics shards存放在同一個node節點上。

  3、documnet routing(數據路由)

    當客戶端發起創建document的時候,es需要確定這個document放在該index哪個shard上。這個過程就是數據路由。

    路由算法:shard = hash(routing) % number_of_primary_shards

    如果number_of_primary_shards在查詢的時候取余發生的變化,無法獲取到該數據

    註意:索引的主分片數量定義好後,不能被修改

   技術分享圖片

技術分享圖片

技術分享圖片

  高可用視圖分析(下圖所示:上面的圖,如果節點1與節點2宕機了,es集群數據就不完整了。下面圖,如果節點1與節點2宕機了,es集群數據還是完整的)

技術分享圖片

三、ES集群的搭建

  (1)、服務器環境

    準備三臺服務器集群

服務器名稱

IP地址

node-1

192.168.212.182

node-2

192.168.212.183

node-3

192.168.212.184

  1、vi elasticsearch.yml 修改配置文件

  2、cluster.name: myes    ###保證三臺服務器節點集群名稱相同

  3、node.name: node-1   #### 每個節點名稱不一樣 其他兩臺為node-1 ,node-2

  4、network.host: 192.168.212.180   #### 實際服務器ip地址

  5、discovery.zen.ping.unicast.hosts: ["192.168.212.184", "192.168.212.185","192.168.212.186"]  ##多個服務集群ip

  6、discovery.zen.minimum_master_nodes: 1

  (2)、關閉防火墻

    systemctl stop firewalld.service

  (3)、http://192.168.212.185:9200/_cat/nodes?pretty

技術分享圖片

*號表示為master節點

  註意:

    註意克隆data文件會導致數據不同步

    報該錯誤解決辦法 :

    failed to send join request to master

    因為克隆導致data文件也克隆呢,直接清除每臺服務器data文件。

ELasticSearch(五)ES集群原理與搭建