1. 程式人生 > >elasticsearch index 之merge

elasticsearch index 之merge

並發 數量 後臺 存在 provide 禁止 記錄 速度 p s

merge是lucene的底層機制,merge過程會將index中的segment進行合並,生成更大的segment,提高搜索效率。segment是lucene索引的一種存儲結構,每個segment都是一部分數據的完整索引,它是lucene每次flush或merge時候形成。每次flush就是將內存中的索引寫出一個獨立segment的過程。所以隨著數據的不斷增加,會形成越來越多的segment。因為segment是不可變的,刪除操作不會改變segment內部數據,只是會在另外的地方記錄某些數據刪除,這樣可能會導致segment中存在大量無用數據。搜索時,每個segment都需要一個reader來讀取裏面的數據,大量的segment會嚴重影響搜索效率。而merge過程,會將小的segment寫到一起形成一個大的segment,減少其數量。同時重寫過程會拋棄那些已經刪除的數據。因此segment的merge是有利於查詢效率的。

elasticsearch的merge其實就是lucene的merge機制。merge過程是lucene有一個後臺線程,它會根據merge策略來決定是否進行merge,一旦merge的條件滿足,就會啟動後臺merge。merge策略分為兩種,這也是大多數大數據框架所采用的,segment的大小和segment中doc的數量。以這兩個標準為基礎實現了三種merge策略:TieredMergePolicy、LogDocMergePolicy 及LogByteSizeMergePolicy。elasticsearch這一部分就是對這三種合並策略的封裝,並提供了對於的配置。它的實現方式如下所示:

技術分享

底層mergeprovider實現了對三種合並策略的初始化和配置,並通過getMergePolicy()方法對外提供。這三種合並策略中LogDocMergePolicy是根據doc數量進行合並,其它兩種都是根據segment的大小,只是TieredMergePolicy合並過程是分層進行,它會把小於某一值的所有segment合並成一個大的segment,然後再一次進行。

以上是合並策略,除了合並策略還有一個要說的就是合並線程。前面說過,merge是通過獨立線程完成的,lucene對於線程策略也有兩種,一種是順序,另外一種就是並發。順序合並策略會阻止索引的進行,因此多數情況先不會使用,而並發合並則是和index過程同時進行,這樣不會影響索引和搜索。elasticsearch同樣通過provider的形式提供這兩種合並線程配置。

總結:merge能夠通過減少segment數量來提高搜索速度。但是merge的過程會對索引吞吐量及搜索速度有一定的影響,因此需要配置適當的合並策略參數。對於資源不足的環境,最好禁止自動merge,選擇空閑時段手動進行merge。

elasticsearch index 之merge