ES寫過程

    1.ES會將document傳送給coordinate node,節點根據document資料路由到指定的節點，改節點包含該primary shard

    2.把文件儲存寫入到primary shard，如果設定了index.write.wait_for_active_shards=1,那麼寫完主節點，直接返回客戶端，如果 index.write.wait_for_active_shards=all,那麼必須要把所有的副本寫入完成才返回客戶端。詳情見官方文件:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/docs-index_.html#index-wait-for-active-shards

    3.如果index.write.wait_for_active_shards=1，那麼es會非同步的把主分片的資料同步到副本分片上去。(在此期間，可能會出現讀請求可能讀取不到最新資料的情況)

ES讀取過程

    1.客戶端傳送請求到任意一個 node，成為 coordinate node

    2. coordinate node將請求的查詢的條件，找到文件對應的分片和副本節點的地址

    3.隨機選擇一個節點，一般是輪詢，肯恩查詢主節點，可能查詢的是副本節點,然後將資料返回給coordinate node

    4.coordinate node將資料返回給客戶端。

   由於可能存在primary shard的資料還沒同步到 replica shard上的情況，所以客戶端可能查詢到舊的資料，我們可以做相應的調整，保證讀取到最新的資料。

      方案1: 設定查詢的時候只查主分片 preference=_primary ，詳情見 https://www.elastic.co/guide/en/elasticsearch/reference/6.4/search-request-preference.html 

GET /_search?preference=_primary
{
    "query": {
        "match": {
            "title": "elasticsearch"
        }
    }
}

    方案2:  執行 Update , Delete , Bulk 等操作時，裝置refresh策略，常見的有以下幾種，

    refresh=true,更新資料之後，立刻對相關的分片(包括副本) 重新整理。

    refresh=wait_for 這個引數表示，重新整理不會立刻進行，而是等待一段時間才重新整理 ( index.refresh_interval)，預設時間是 1 秒

 enum RefreshPolicy implements Writeable {
        /**
         * Don't refresh after this request. The default.
         */
        NONE("false"),
        /**
         * Force a refresh as part of this request. This refresh policy does not scale for high indexing or search throughput but is useful
         * to present a consistent view to for indices with very low traffic. And it is wonderful for tests!
         */
        IMMEDIATE("true"),
        /**
         * Leave this request open until a refresh has made the contents of this request visible to search. This refresh policy is
         * compatible with high indexing and search throughput but it causes the request to wait to reply until a refresh occurs.
         */
        WAIT_UNTIL("wait_for");

ES寫入的底層流程

       如圖

        1.寫入的資料先寫入一個index_buffer的記憶體空間中，在index buffer中的資料無法被搜尋到，這是ES無法保證100%實時的原因， indices.memory.index_buffer_size配置該空間的大小。

        2.在寫入index_buffer之前，需要先記錄translog，translog用於記錄每次寫入的資料，在持久化失敗後，可用於資料恢復。

        3. index_buffer的空間被佔滿或者達重新整理間隔到了index.refresh_interval的值時，會重新整理的作業系統的filesystem cache中。

        4.filesystem cache中資料，也會在一定的時間間隔，flush到磁碟中，當重新整理到磁碟後，就會刪除對應的文件的translog中資料。

        

相關推薦